クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2025年6月号
2025.06.20クラウド事業本部コンサルティング部の石川です。今月号の注目のアップデートは、Amazon SageMaker Unified Studioでは、Visual ETLの機能拡張や新たにVisual Studio Code互換の軽量IDEのサポートなど、開発体験を向上させるアップデートです。また、Amazon DataZoneとAmazon SageMaker Catalogは、基盤が共通であるため同時に更新がありました。他にもアップデートがあるので紹介します！
Amazon SageMaker Unified Studio
新機能・アップデート
2025/05/06 - Amazon SageMaker offers additional visual ETL transforms and S3 tables support
Amazon SageMaker Unified Studioに、新たに 以下の14 個のビジュアル ETL 変換が組み込まれました。
- Format timestamp
- Split string
- Regex extractor
- Autobalance processing
- UUID (Universally Unique Identified)
- Identifier
- Unpivot columns into rows
- Pivot rows into columns
- Parse JSON column
- Extract JSON path
- Lookup
- Conditional router
- Route group
- Order by
たとえば、「Identifier」を使用してデータセットの各行に数値識別子を割り当てたり、「Parse JSON column」を使用してJSON文字列をデータ構造体または配列に変換したり、「Extract JSON path」変換を使用して必要なJSONパスのみを抽出したりできます。
また、Amazon SageMaker Lakehouse ノードを介して Amazon S3 テーブルがサポートされるようになりました。
2025/05/06 - Amazon SageMaker adds support for three new data sources
Amazon SageMaker Unified Studio は、Oracle、Amazon DocumentDB、Microsoft SQL Server データベースへの直接接続のサポートを開始しました。これにより、Amazon SageMaker Lakehouse で利用可能なデータ統合機能が拡張されました。
- Oracle
- Amazon DocumentDB
- Microsoft SQL Server
2025/05/12 - Announcing Code Editor (based on VS Code – Open Source) in Amazon SageMaker Unified Studio
Amazon SageMaker Unified Studioは、Code EditorはVisual Studio Code互換の軽量IDEで、拡張機能やGit連携、MLフレームワークの事前設定を提供し、開発効率を向上させます。また、Multiple Spacesにより、ユーザーはプロジェクトごとに複数の作業スペースを持ち、異なる計算リソースを並行管理できるため、柔軟なワークフローと生産性向上が実現します。
Amazon SageMaker Catalog
新機能・アップデート
2025/05/06 - Amazon SageMaker Catalog introduces authorization policy for asset type usage
Amazon SageMaker Catalog は、アセットタイプ (テンプレート) の使用に関する承認ポリシーをサポートするようになりました。これは、特定のアセットタイプを使用してカスタムアセットを作成および管理できるユーザーを組織がきめ細かく制御できる新しいガバナンス機能です。
2025/05/12 - Amazon SageMaker launches AWS CloudFormation support for domain features
Amazon SageMaker と Amazon DataZone は、AWS CloudFormation を通じて複数のドメイン機能のサポートを追加しました。AWS CloudFormation を使用してドメインユニットとその所有者をモデル化および管理できるようになりました。さらに、ドメインの AWS IAM Identity Center インスタンスを設定できるようになりました。
2025/05/15 - Amazon SageMaker Catalog launches governance for S3 Tables
Amazon SageMaker Catalogは、Amazon S3 Tablesと連携し、Apache Iceberg対応ツールでのデータ検索・共有・管理を容易にします。生成AIによるメタデータや自然言語検索で安全にデータやモデルを発見・利用可能です。S3 TablesはIcebergを標準サポートし、パブリッシャーはビジネスメタデータを付加してカタログ化できます。利用者は検索や申請を通じてデータにアクセスし、分析やAI開発に活用できます。これにより組織全体のデータ活用とガバナンスが向上します。
2025/05/16 - Amazon SageMaker - move project across domain units
Amazon SageMakerとAmazon DataZoneは、プロジェクトを異なるドメインユニット間で移動できる新たなデータガバナンス機能を発表しました。これにより、組織やチーム構成の変更に合わせて、プロジェクトの管理単位を柔軟に変更可能です。管理者はトップレベルのドメイン配下に営業やマーケティングなどのドメインユニットを作成し、既存プロジェクトを新しいドメインユニットへ移動してカタログを整理できます。ユーザーは自身のビジネスユニットに紐づく資産を簡単に検索・閲覧できるようになります。
Amazon DataZone
APIの変更点
2025/05/05 - Amazon DataZone - 3 updated methods
アセット作成時にカスタムアセットタイプの使用を制御するための新しい承認ポリシーが追加されました。
その他
Amazon SageMaker Catalogに追加された機能は、Amazon DataZoneにも追加されています。
- 2025/05/16 - Amazon SageMaker - move project across domain units
- 2025/05/12 - Amazon SageMaker launches AWS CloudFormation support for domain features
AWS Glue
新機能・アップデート
2025/05/15 - AWS Glue Studio now supports additional file types and single file output
AWS Glue Studioが入力にExcelファイル、出力にXMLおよびTableau Hyperファイルをサポートしました。また、S3の出力ファイル数を指定できる機能も追加。これにより、ExcelからXMLファイルへの変換など、より多様なデータ処理ワークフローがGUIで設定可能となります。また、新たにLZ4、SNAPPY、DEFLATE、LZO、BROTLI、ZSTD、ZLIBなど複数の圧縮形式も利用できるようになりました。
APIの変更点
2025/05/08 - AWS Glue - 3 updated methods
すべての Zero-ETL 統合において 15 分から 6 日までのカスタマイズ可能な RefreshInterval がサポートされました。
2025/05/16 - AWS Glue - 5 updated methods
変更点
-
S3 ソースタイプとしての Excel、S3 シンクタイプとしての XML と Tableau の Hyper
-
S3 シンクのパーティション数パラメータの対象化
-
CSV/JSON および Parquet S3 シンクの新しい圧縮タイプが含まれる
2025/05/20 - AWS Glue - 1 updated methods
追加のメタデータ フィールドを備えた拡張 AWS Glue ListConnectionTypes API モデル。
2025/05/22 - AWS Glue - 3 updated methods
スキーマの検出と分類を向上させるための AWS Glue クローラー API の機能強化。
Amazon OpenSearch Service
新機能・アップデート
2025/05/15 - Amazon OpenSearch Ingestion increases memory for an OCU to 15 GB
Amazon OpenSearch Ingestionの1OCUあたりのメモリが追加費用なしで8GBから15GBに増加しました。2vCPUと15GBメモリが標準となり、設定変更なしでより高度なインメモリ処理が可能が可能になりました。トレース分析や集約、エンリッチメントなどのメモリ集約型処理にも対応しやすくなり、パイプラインの複雑化や高スループット化にも対応できます。
2025/05/29 - Amazon OpenSearch Service adds support for Script Plugins
Amazon OpenSearch ServiceはScript Pluginsに対応し、検索やインデックス時のスクリプト機能を拡張可能になりました。ユーザーは独自プラグインをコンソールやAPIで管理でき、互換性やセキュリティも検証されます。
Amazon EMR
新機能・アップデート
2025/05/29 - Amazon EMR enables enhanced Apache Spark capabilities for Lake Formation tables with full table access
Amazon EMR（Elastic MapReduce）がApache Sparkを使ってAWS Lake Formationのテーブルに対して「フルテーブルアクセス」での読み書きをサポートしました。Apache HiveやIcebergテーブルに対し、CREATEやUPDATEなどのDML操作が可能となります。
APIの変更点
2025/05/16 - Amazon EMR - 4 new methods
アプリケーション UI を管理するための API を追加しました。CreatePersistentAppUI、DescribePersistentAppUI、GetPersistentAppUIPresignedURL を介して永続的 (サーバーレス) UI にアクセスし、GetOnClusterAppUIPresignedURL を介してクラスターベースの UI にアクセスします。Yarn、Spark History、TEZ インターフェースをサポートします。
2025/05/21 - EMR Serverless - 1 updated methods
StartJobRunアクションでオプションの実行IAMポリシーを指定できるようになりました。ジョブ実行時に付与される権限は、実行ロールの権限と指定された実行IAMポリシーの権限の積になります。
Amazon MSK
新機能・アップデート
2025/05/19 - Amazon MSK adds support for Apache Kafka version 4.0
Amazon Managed Streaming for Apache Kafka（Amazon MSK）がApache Kafka 4.0に対応しました。Kafka 4.0では新しいコンシューマリバランスプロトコルが導入され、グループリバランスがより円滑かつ高速になります。また、Java 17の利用が必須となり、セキュリティやパフォーマンスが向上、ZooKeeperによるメタデータ管理が非推奨となりました。新規クラスタ作成や既存クラスタのローリングアップグレードで利用可能です。
Amazon MWAA
新機能・アップデート
2025/05/30 - Amazon MWAA now provides option to update environments without interrupting task execution
Amazon Managed Workflows for Apache Airflow（MWAA）に、稼働中のタスクを中断せずに環境設定を更新できる「ホット」アップデート機能が追加されました。新しい設定は新規ワーカーに適用され、既存ワーカーはタスク完了後に終了します。メンテナンス時のダウンタイムが減少し、データパイプラインの可用性と信頼性が向上します。
APIの変更点
2025/05/15 - AmazonMWAA - 2 updated methods
Amazon MWAA の新しく、中断のない環境更新オプションをサポートするAPI のアップデートです。
最後に
今回ご紹介したAWSのアップデートは、Amazon SageMaker Unified StudioによるAnalyticsとAIの統合するための機能やデータガバナンスに関する機能強化が多くありました。そして、将来的には、Amazon DataZoneもAmazon SageMaker Catalogに統合される流れが見られます。
なお、来週から日本最大の "AWS を学ぶイベント" AWS Summit Japan が **6 月 25 日（水）、26 日（木）**の二日間で開催されます。登録は無料ですので、オンラインでも、オフラインでもぜひご参加ください。
![[アップデート] Amazon Bedrock Flows が非同期実行をパブリックプレビューでサポートしました](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-e3065182082062711612153bbdcf1d96/c04359de689df2f56eb066576ab63fb5/amazon-bedrock)
