クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2025年12月号
クラウド事業本部コンサルティング部の石川です。アナリティクス分野において2025年11月下旬のre:Invent2025の直前に怒涛のアップデートがありました。特に注目すべきは、Apache Iceberg V3のサポート強化です。削除ベクターと行リネージ機能により、データパイプラインの高速化と変更追跡が容易になりました。AWS Glueではセルフマネージドデータベース向けのZero-ETL統合が登場し、SageMaker CAtalogのメタ情報管理が充実されています。他にもアップデートがあるので紹介します！
Amazon QuickSight
新機能・アップデート
2025/11/25 - Amazon Quick Suite introduces scheduling for Quick Flows
Amazon Quick Suiteのアップデートにより、Quick Flowsのスケジュール実行機能が導入されました。（残念ながら、東京リージョンには提供されていません。）手動操作なしで繰り返しのワークフローを自動化できるようになります。Quick Flowsを日次、週次、月次、またはカスタム間隔で自動実行するよう設定でき、業務効率の向上と重要タスクの確実な実行が可能になります。
具体的なユースケースとしては、ダッシュボードからの定期レポート生成、外部サービスで自分に割り当てられた未完了タスクの要約、出勤前の日次ミーティングブリーフィングの作成などが挙げられています。
スケジュール設定は、自分で作成したフローだけでなく、共有されたフローにも適用可能です。設定はスケジューリングアイコンをクリックし、日時と頻度を指定するだけで完了します。
APIの変更点
2025/11/06 - Amazon QuickSight - 5 updated api methods
新しいData Prepエクスペリエンスのサポート。
2025/11/20 - Amazon QuickSight - 12 updated api methods
包括的なテーマスタイル設定コントロールを導入しました。新機能には、境界線のカスタマイズ（半径、幅、色）、柔軟なパディングコントロール、カードとシートの背景スタイル設定、一元的なタイポグラフィ管理、レイアウト全体にわたるビジュアルレベルのオーバーライドサポートなどが含まれます。
2025/11/21 - Amazon QuickSight - 2 updated api methods
Amazon Quick Suite は、GenerateEmbedUrlForRegisteredUser API を呼び出すときに、埋め込みタイプとして QuickChat をサポートするようになりました。これにより、開発者は会話型 AI エージェントをアプリケーションに直接埋め込むことができます。
Amazon Redshift / Redshift Serverless
新機能・アップデート
2025/11/17 - Amazon Redshift now supports writes to Apache Iceberg tables
Apache Icebergテーブルへの書き込み機能を一般提供（GA）開始しました。Redshift上でApache Icebergテーブルに対する分析クエリの読み取りと書き込み（追記型ワークロード）の両方が可能になります。
Apache Icebergは、データレイクに格納された急速に拡大・進化する最も注目度の高いオープンテーブルフォーマットです。今回のアップデートにより、RedshiftでDDL操作（CREATE、SHOW、DROP）およびDML操作（INSERT）がサポートされ、AWS Glue Data Catalog内のIcebergテーブルへの読み書きが可能になりました。他のユーザーやアプリケーションが同じテーブルで安全にDML操作を実行できるトランザクション整合性も確保されています。
2025/11/18 - Amazon Redshift now supports Just-In-Time (JIT) ANALYZE for Apache Iceberg tables
Amazon Redshiftは、Apache IcebergテーブルにおけるJust-In-Time (JIT) ANALYZE機能の一般提供を開始しました。データレイク内のApache Icebergテーブルに対する読み取り・書き込み両方の分析クエリを高パフォーマンスで実行できるようになりました。
2025/11/24 - Amazon Redshift now supports federated permissions across multi-warehouse architectures
Amazon Redshiftがフェデレーテッドパーミッションをサポートするようになりました。複数のRedshiftデータウェアハウス間でのパーミッション管理が簡素化されます。Redshiftフェデレーテッドパーミッションでは、任意のRedshiftウェアハウスからデータパーミッションを一度定義すると、すべてのウェアハウスで自動的に適用されます。
2025/11/18 - Amazon Redshift announces support for the SUPER data type in Databases with Case-Insensitive Collation
Amazon Redshift は、大文字と小文字を区別しない照合順序を使用するデータベースでのSUPERデータ型のサポートを発表しました。SUPERデータ型をPartiQLと組み合わせることで、構造化データと半構造化データを統合した柔軟で高度な分析を実現します。特に、大文字と小文字の区別が不確実なJSONドキュメントなどを扱う際に有効で、COLLATE関数によりSUPER列の照合順序を明示的に指定できます。正規化のオーバーヘッドなしに複雑なクエリを実行可能になり、本機能はすべてのAWSリージョンで利用可能です。
APIの変更点
2025/11/12 - Amazon Redshift - 1 new methods
Identity Center統合アプリケーションの暗号化された認証トークンを取得するためのGetIdentityCenterAuthToken APIを追加しました。このAPIは、サポートされているSDK言語間で適切なエラー処理とパラメータ検証を行いながら、プログラムからIdentity Centerトークンのセキュリティ保護にアクセスできます。
2025/11/21 - Amazon Redshift - 1 new 20 updated methods
Amazon Redshift フェデレーションアクセス許可と AWS IAM Identity Center の信頼できる ID 伝播のサポートが追加されました。
2025/11/21 - Redshift Serverless - 1 new 7 updated methods
名前空間のAmazon RedshiftフェデレーテッドパーミッションとAWS IAM Identity Center trusted identity propagationを管理するためのUpdateLakehouseConfiguration APIを追加しました。
Amazon Athena
新機能・アップデート
2025/11/21 - Amazon Athena launches auto-scaling solution for Capacity Reservations
Amazon Athenaは、ワークロードの需要に応じて予約キャパシティを動的に調整する「キャパシティ予約のオートスケーリングソリューション」の提供を開始しました。
この新機能は、AWS Step Functionsを活用してAmazon CloudWatchの利用率メトリクスを継続的に監視し、ユーザーが定義した利用率のしきい値（高・低）およびキャパシティ制限に基づいて、データ処理ユニット（DPU）を自動でスケールアップまたはスケールダウンします。これにより、クエリパフォーマンスを安定させつつ、手動でのキャパシティ調整の必要性を排除し、コストの最適化に貢献します。
AWS Glue
新機能・アップデート
2025/11/20 - AWS Glue now supports additional SAP entities as zero-ETL integration sources
AWS GlueがZero-ETL統合において新たなにSAPエンティティのサポートを追加しました。変更データキャプチャ（CDC）機能が完全ではないSAPエンティティ向けのフルスナップショット取り込みと、ODPフレームワーク非対応エンティティ向けの増分データロード機能が導入されました。
2025/11/25 - AWS Glue Data Quality now supports pre-processing queries
AWS Glue Data QualityがGlue Data Catalog API経由でデータ品質チェック実行前にデータを変換する前処理クエリをサポートしました。派生カラムの作成、特定条件でのデータフィルタリング、計算の実行、カラム間の関係検証をデータ品質評価プロセス内で直接行えます。
例えば、税金と送料から合計手数料を計算したり、品質推奨対象のカラム数を制限したり、特定のデータサブセットに品質チェックを集中させたりできます。別途の前処理ステップが不要になり、ワークフローが効率化されます。
2025/11/21 - AWS Glue launches Amazon DynamoDB connector with Spark DataFrame support
AWS Glueは、Apache Spark DataFrameをネイティブサポートする新しいAmazon DynamoDBコネクタをサポートしました。Spark開発者はDataFrameで直接作業でき、AWS Glue、Amazon EMR、その他のSpark環境間でコードを簡単に共有できます。
従来、Glue固有のDynamicFrameオブジェクトの使用が必要でしたが、既存のSpark DataFrameコードを最小限の修正で再利用可能に。Glueへのジョブ移行が効率化され、Spark DataFrameの全操作と最新のパフォーマンス最適化が利用できます。
2025/11/24 - AWS Glue announces catalog federation for remote Apache Iceberg catalogs
AWS Glueがリモート Icebergカタログ向けのカタログフェデレーションの一般提供を発表しました。Amazon S3に保存されリモートカタログで管理されているIcebergテーブルに、AWSのアナリティクスエンジンから直接かつ安全にアクセスできます。
テーブルの移動やコピーなしで、Amazon Redshift、EMR、Athena、Glueなどお好みのエンジンでリモートIcebergテーブルをクエリ可能です。クエリ時にメタデータをリアルタイム同期し、常に最新の結果を取得します。Lake Formationによる細かいアクセス制御も利用可能です。
2025/11/25 - AWS Glue Data Quality now supports rule labeling for enhanced reporting
AWS Glue Data Qualityがルールラベリング機能をサポートしました。データ品質ルールにカスタムキーバリューペアのラベルを適用し、組織化、フィルタリング、ターゲットレポート作成が向上します。ビジネスコンテキスト、チーム所有権、コンプライアンス要件などでルールを分類できます。
例えば「team=finance」でファイナンスチーム関連ルールをラベル付けして専用レポートを生成したり、「criticality=high」で優先度の高いルールを識別し修正を優先できます。DQDLでラベルを記述し、ルール結果、行レベル結果、APIレスポンスでクエリ可能です。
2025/11/25 - Announcing AWS Glue zero-ETL for self-managed Database Sources
AWS Glueがセルフマネージドデータベースソース向けのzero-ETL統合を発表しました。オンプレミスやEC2上で稼働するMySQL、PostgreSQL、Oracleなどのデータベースから、Amazon RedshiftやSageMaker Lakehouseへのデータ統合がETLパイプラインの構築なしで可能になります。
セルフマネージドDB の変更データキャプチャ（CDC）は AWS DMS Endpoint経由で、Zero-ETL Integrationを作成し、Amazon Redshiftなどにデータを連携するようです。
2025/11/26 - Introducing AWS Glue 5.1
AWS Glue 5.1が一般提供開始されました。パフォーマンス向上、セキュリティアップデート、Apache Iceberg機能拡張、AWS Lake Formation書き込みサポートを提供します。コアエンジンをApache Spark 3.5.6、Python 3.11、Scala 2.12.18にアップグレード。オープンテーブルフォーマットはApache Hudi 1.0.2、Iceberg 1.10.0、Delta Lake 3.3.2に更新。Iceberg v3フォーマットをサポートし、デフォルトカラム値、削除ベクター、行リネージ追跡が利用可能。Lake Formationのきめ細かいアクセス制御が書き込み操作（DML/DDL）にも拡張されました。
APIの変更点
2025/11/17 - AWS Glue - 2 new 3 updated methods
Amazon Glueは、新しいAPI（ListIntegrationResourcePropertiesとDeleteIntegrationResourceProperty）をリリースし、既存のAPIも改善しました。
2025/11/20 - AWS Glue - 4 updated methods
2025/10/30 - AWS Glue - 3 updated methods
AWS Glue上でTrusted Identity Propagationが有効なInteractive Sessionsを実行しているお客様向けに、User Background Sessionsを有効化する機能が追加されました。
Glue GetuserDefinedFunctionsにFunctionTypeパラメータを追加しました。
Amazon SageMaker Unified Studio
新機能・アップデート
2025/11/06 - Amazon SageMaker announces custom tags for project resources
プロジェクトで作成されるリソースにカスタムタグを付与できる新機能を発表しました。管理者はプロジェクトプロファイルにタグ設定を構成することで、そのプロファイルを使用するすべてのプロジェクトに自動的にタグが適用されます。キーと値のペアを指定するか、プロジェクト作成時に変更可能なデフォルト値を持つキーを設定できます。Service Control Policy（SCP）に準拠したタグ付け標準の強制や、組織全体のコスト追跡レポートが可能になります。現時点ではAPIのみでの提供です。
2025/11/10 - Amazon SageMaker Unified Studio adds support for catalog notifications
データカタログアクティビティのリアルタイム通知機能を提供開始しました。サブスクリプションリクエスト、データセットの更新、アクセス承認などのイベントについて、チームはリアルタイムで通知を受け取ることができます。通知センターはプロジェクトホームページの右上にあるベルアイコンからアクセス可能で、最近の通知の短いリストを確認できます。「notification center」をクリックすることで、データカタログやプロジェクト別にフィルタリング可能な全通知リストを表形式で確認できます。データセットの公開や変更時にチーム間のコラボレーションが効率化されます。
2025/11/20 - Amazon SageMaker Unified Studio now supports long-running sessions with corporate identities
Amazon SageMaker Unified Studioが企業アイデンティティを使用した長時間セッションをサポートしました。これにより、SSO認証を使用するユーザーは、セッションタイムアウトによる中断なく長時間の作業を継続できます。従来は認証セッションの制限により、長時間のデータ処理やモデルトレーニング中に再認証が必要でしたが、この機能によりワークフローの中断が軽減されます。企業のアイデンティティプロバイダーとの統合を維持しながら、ユーザー体験が向上します。
2025/11/21 - Announcing notebooks with a built-in AI agent in Amazon SageMaker
Amazon SageMakerがAIエージェント搭載の新しいノートブック体験を発表しました。データエンジニア、アナリスト、データサイエンティスト向けの高性能なサーバーレスプログラミング環境で、SQLクエリ、Pythonコード実行、大規模データ処理、MLワークロード、可視化を1つの場所で行えます。自然言語プロンプトからコードやSQLを生成する組み込みAIエージェントの開発を加速します。バックエンドはAmazon Athena for Apache Sparkで、インタラクティブなクエリからペタバイト規模のデータ処理まで自動スケーリング可能です。
2025/11/21 - Introducing one-click onboarding of existing datasets to Amazon SageMaker
Amazon SageMakerがワンクリックオンボーディング機能を発表しました。既存のデータセットをAWS Glue Data CatalogからSageMaker Unified Studioに簡単に取り込めるようになりました。SageMakerコンソールの「Get started」ボタンからIAMロールを選択または作成するだけで、数分でデータとコンピュートへのアクセスが設定されます。自動的にAthena Spark、Athena SQL、Glue Spark、MWAA Serverlessのサーバーレスコンピュートが作成され、プロビジョニングなしですぐに作業を開始できます。
2025/11/21 - Introducing Amazon SageMaker Data Agent for analytics and AI/ML development
Amazon SageMakerがデータ分析と機械学習アプリケーション開発を加速するAIエージェント「SageMaker Data Agent」を発表しました。SageMaker Unified Studioの新しいノートブック体験で利用可能で、データエンジニア、アナリスト、データサイエンティストが手動セットアップやボイラープレートコードに費やす時間を削減します。自然言語プロンプトからコードと実行計画を生成し、データカタログやビジネスメタデータと統合して開発プロセスを効率化します。複雑な分析やMLタスクを管理可能なステップに分解し、データ変換、統計分析、モデル開発を支援します。
2025/11/21 - Amazon Athena for Apache Spark is now available in Amazon SageMaker notebooks
Amazon SageMakerノートブックでAmazon Athena for Apache Sparkが利用可能になりました。新しいノートブック体験と高速なサーバーレスSparkが統一ワークスペースで結合され、データエンジニア、アナリスト、データサイエンティストがデータクエリ、Pythonコード実行、ジョブ開発、モデル訓練、可視化、AI作業を1か所で行えます。インフラ管理不要で秒単位の課金。Spark 3.5.6を実行し、Apache IcebergやDelta Lakeに最適化された高性能Sparkエンジンを提供。新しいデバッグ機能、Spark UIでのリアルタイム監視、Spark Connectによる安全なクラスター通信、Lake Formationによるテーブルレベルアクセス制御を備えています。
APIの変更点
2025/11/06 - Amazon SageMaker Service - 11 updated methods
UpdateCluster APIにNodeProvisioningModeパラメータを追加し、クラスター操作中のインスタンスプロビジョニングの処理方法を決定できるようになりました（Continuousモード）。VPCを持たないSageMaker Unified StudioドメインにカスタマーVPCを追加するため、UpdateDomainリクエストにVpcIdフィールドを追加しました。
2025/11/13 - Amazon SageMaker Service - 3 updated methods
SageMaker Hadron Partner AppsのマイナーバージョンアップグレードとAWS Identity Center統合のサポートを追加し、自動バージョン管理とIdCグループベースのアクセス制御を実現しました。
Amazon SageMaker Catalog
新機能・アップデート
2025/11/14 - Amazon SageMaker Catalog now supports read and write access to Amazon S3
Amazon SageMaker Catalogは、Amazon S3汎用バケットへの読み取り・書き込みアクセスをサポートしました。データサイエンティストやアナリストは非構造化データを検索し、構造化データと組み合わせて処理し、変換したデータセットを他チームと共有できます。データ公開者はサブスクリプションリクエストの承認時やS3データの直接共有時に、読み取り専用または読み書きアクセスを選択できます。読み書きアクセスが付与されたデータ消費者は、SageMakerでデータセットを処理し、結果を元のS3バケットまたはフォルダに保存可能です。処理結果は公開して他チームが自動的に発見できるようになります。セキュリティとガバナンス管理を維持しながら、生成AIワークフローを支援します。
2025/11/19 - Amazon SageMaker Catalog introduces column-level metadata forms and rich descriptions
Amazon SageMaker Catalogがカラムレベルのメタデータフォームとリッチテキスト説明をサポートしました。データ公開者は個々のカラムにビジネスメタデータを追加でき、データ利用者がカラムの意味や用途をより正確に理解できるようになります。リッチテキスト形式の説明により、書式付きドキュメンテーションや例示が可能になり、データの発見性と理解しやすさが大幅に向上します。組織全体でのデータ活用を促進し、ガバナンスを維持しながらセルフサービスのデータ探索を実現します。
Amazon DataZone
APIの変更点
2025/11/05 - Amazon DataZone - 6 updated methods
プロジェクトリソースタグのサポートを追加しました。
2025/11/14 - Amazon DataZone - 15 updated methods
CreateSubscriptionRequestおよびAcceptSubscriptionRequest APIを使用したAmazon S3汎用バケットへの読み取りおよび書き込みアクセスの付与をサポートしました。また、ListSubscriptions APIにSSOUserおよびSSOGroupの検索フィルターを追加し、ListSubscriptions APIの「sortBy」パラメータを非推奨としました。
2025/11/19 - Amazon DataZone - 3 new 4 updated methods
Amazon DataZoneは、個々の属性（列）レベルでのビジネスメタデータ（readmeとメタデータフォーム）、用語集用語の新しいルールタイプ、およびルートドメインユニットの所有者を更新する機能をサポートするようになりました。
Amazon MWAA
新機能・アップデート
2025/11/17 - APIの変更点
Amazon MWAA Serverless
Amazon Managed Workflows for Apache Airflow (MWAA) に、サーバーレスデプロイオプションが追加されました。従来のMWAAでは環境のプロビジョニングやスケーリングの管理が必要でしたが、MWAA Serverlessではこれらの運用オーバーヘッドが不要になります。リソースの自動プロビジョニングとスケーリングにより、データエンジニアやDevOpsチームはインフラ管理を気にせずワークフローオーケストレーションに集中できます。
ワークフローの定義にはYAML構成またはPythonベースのDAGが使用でき、Apache Airflow v3.0から80を超えるAWS Operatorがサポートされます。セキュリティ面では、各ワークフローが個別のIAMアクセス許可で分離実行されるため、AWSサービスやデータへの安全なアクセスが確保されます。
料金体系も従量課金となり、タスク実行中に実際に使用したコンピューティング時間に対してのみ課金されるため、コスト最適化が図れます。
APIの変更点
2025/11/17 - Amazon MWAA Serverless - 15 new methods
Amazon MWAA はサーバーレスデプロイメントの提供を開始し、運用オーバーヘッドを削減しながらコストを最適化します。このサービスは、80 種類以上の AWS オペレーターを備えた YAML および Python ベースのワークフローをサポートしています。また、分離された実行、IAM 権限、そして従量課金制による自動スケーリングも提供します。
Amazon OpenSearch Service
新機能・アップデート
2025/11/19 - Amazon OpenSearch Service announces Cluster Insights for improved operational visibility
Cluster Insightsは、ノード、インデックス、シャード全体の重要な運用データの統合を自動化し、複雑なトラブルシューティングを効率的なプロセスに変換します。遅いクエリなどのパフォーマンス問題を調査する際、関連するパフォーマンスメトリクス、影響を受けるクラスターリソース、Top-Nクエリ分析、具体的な修復手順を単一のビューで表示します。大きなシャードや低いディスクウォーターマークなどの問題を検出し、ノード・インデックス・シャードレベルでの詳細メトリクス、セキュリティと回復力のベストプラクティスにアクセスできます。OpenSearch UI経由で追加費用なしで利用可能で、OpenSearchバージョン2.17以降を実行しているすべてのユーザーが使用できます。クラスター障害時でもOpenSearch UIのレジリエントアーキテクチャを通じてモニタリング機能を維持します。
2025/11/24 - OpenSearch Service enhances log analytics with new PPL experience
Amazon OpenSearch Serverlessは、ログ分析機能の強化する PPL（Piped Processing Language）をsupportしました。PPLは、パイプ構文を使用してデータを順番に処理するクエリ言語です。Unix/Linuxのパイプラインコマンドに慣れたユーザーにとって直感的です。PPLと自然言語がObservabilityワークスペースのデフォルトになり、実績のあるパイプライン構文と簡素化されたワークフローが組み合わされた直感的な可観測性エクスペリエンスが提供されます。セキュリティアナリストやSREチームは、ログデータの探索、フィルタリング、集計をより効率的に行えるようになり、インシデント対応や根本原因分析の時間を短縮できます。
2025/11/24 - Amazon OpenSearch Service now supports OpenSearch version 3.3
Amazon OpenSearch ServiceがOpenSearchバージョン3.3をサポートしました。新バージョンでは検索パフォーマンスの向上、新しいクエリ機能、セキュリティ強化が含まれています。既存のドメインはインプレースアップグレードが可能で、新規ドメイン作成時にもバージョン3.3を選択できます。最新のOpenSearch機能を活用しながら、フルマネージドサービスのメリットを享受できます。
2025/11/25 - Amazon OpenSearch Service introduces Agentic Search
Amazon OpenSearch ServiceがAgentic Searchを発表しました。AIエージェントが検索クエリを理解し、複数のデータソースやインデックスにまたがる複雑な検索タスクを自律的に実行します。自然言語での質問に対して、関連するドキュメントを検索し、情報を統合して回答を生成。従来の検索では複数のクエリと手動での情報統合が必要だったタスクを自動化します。RAG（Retrieval Augmented Generation）パターンとの組み合わせで、より高度な検索体験を実現します。
APIの変更点
2025/11/07 - Amazon OpenSearch Service - 2 new methods
このリリースでは、ユーザーがリージョンごとに優先するOpenSearch UIアプリケーションを設定、変更、または解除できるデフォルトアプリケーション機能が導入されました。これにより、統一された一貫したユーザーエクスペリエンスが提供されます。
2025/11/17 - Amazon OpenSearch Service - 4 new methods
このリリースでは、自動セマンティックエンリッチメント機能をサポートするインデックス操作APIが追加されました。
Amazon OpenSearch Serverless
新機能・アップデート
2025/11/04 - Amazon OpenSearch Serverless now supports FIPS compliant endpoints
Amazon OpenSearch Serverlessは、Data Plane API向けのFederal Information Processing Standards（FIPS）準拠エンドポイントのサポートを追加しました。FIPS 140-2は、暗号モジュールのセキュリティ要件を定める米国連邦政府標準です。政府機関や規制産業の多くの組織は、機密データを扱うシステムにFIPS準拠の暗号化を要求しています。
OpenSearch Serverlessを使用するお客様は、データプレーンAPI（検索、インデックス作成など）でFIPS準拠の暗号化を利用できるようになります。これにより、FedRAMP、HIPAA、その他の規制フレームワークへの準拠を必要とするワークロードをサーバーレスアーキテクチャで実行できます。
2025/11/18 - Amazon OpenSearch Serverless adds audit logs for data plane APIs
Amazon OpenSearch Serverlessがデータプレーン API の監査ログのサポートを追加しました。この機能により、インデックス操作やドキュメントの作成・更新・削除などのデータプレーンアクティビティを追跡できるようになります。監査ログはAmazon CloudWatch Logsに配信され、コンプライアンス要件の遵守やセキュリティ監視に活用できます。これにより、誰がいつどのデータにアクセスしたかを詳細に把握でき、規制要件への対応やセキュリティインシデントの調査が容易になります。
2025/11/19 - Amazon OpenSearch Serverless now supports backup and restore through the AWS Management Console
Amazon OpenSearch ServerlessがAWSマネジメントコンソールを通じたバックアップとリストアをサポートしました。コレクションのスナップショット作成、保持期間の設定、リストア操作がGUIで完結でき、運用担当者の負担が軽減されます。災害復旧計画の実装やデータ保護要件への対応がより容易になります。
2025/11 - Amazon OpenSearch Serverless adds AWS PrivateLink for management console
Amazon OpenSearch ServerlessがマネジメントコンソールへのAWS PrivateLinkサポートを追加しました。VPCエンドポイント経由でOpenSearch Serverlessの管理操作をプライベートネットワーク内で完結できます。
インターネットを経由せずに安全にコレクションの作成・管理・監視が可能になり、厳格なネットワークセキュリティ要件を持つ組織でも安心して利用できます。データプレーンだけでなくコントロールプレーンもプライベート接続できるようになりました。
Amazon EMR
新機能・アップデート
2025/11/20 - Amazon EMR Serverless now supports Apache Spark 4.0.1 (Preview)
Amazon EMR ServerlessがApache Spark 4.0.1（プレビュー）をサポートするようになりました。Spark 4.0.1により、ANSI SQLとVARIANTデータ型でデータパイプラインの構築と保守がより簡単になり、Apache Iceberg v3テーブルフォーマットでコンプライアンスとガバナンスフレームワークを強化し、強化されたストリーミング機能で新しいリアルタイムアプリケーションをより迅速にデプロイできます。
2025/11/21 - Amazon EMR 7.12 now supports the Apache Iceberg v3 table format
Amazon EMR 7.12がApache Iceberg 1.10による新しいIceberg v3テーブルフォーマットをサポートしました。削除ベクター（Deletion Vectors）により、ファイル全体を書き換えずに削除行をマークでき、データパイプラインの高速化とストレージコスト削減を実現します。行リネージ（Row Lineage）により各行の作成・変更履歴を自動追跡し、規制要件やCDC（変更データキャプチャ）に必要な監査証跡を提供。テーブルレベル暗号化で機密データのプライバシー規制対応も可能です。Apache Spark 3.5.6とLake Formationによるガバナンス操作もサポートしました。
APIの変更点
2025/11/19 - Amazon EMR - 2 updated methods
Sparkドライバー、エグゼキューター、ステップログのCloudWatch Logs統合を追加しました。
2025/11/20 - Amazon EMR - 5 updated methods
ステップごとにステップログのS3保存先を設定するサポートを追加しました。
Amazon MSK
新機能・アップデート
2025/11/10 - AWS MSK Express brokers now support intelligent rebalancing at no additional cost
Amazon MSK ProvisionedクラスターのExpressブローカーに対し、「Intelligent Rebalancing（インテリジェントなリバランス）」のサポートを開始しました。
Kafkaクラスターのスケールアップ・ダウン時に自動的なパーティションリバランスが実行されます。従来、ユーザーは自身でパーティション管理を行うか、サードパーティツールに頼る必要がありましたが、Intelligent Rebalancingではこれが不要になります。リバランス処理は標準ブローカーと比較して最大180倍高速に実行されます。
Expressブローカー自体も、標準ブローカーと比べてブローカーあたり最大3倍のスループット、20倍高速なスケーリング、90%短縮された復旧時間を実現しています。Intelligent Rebalancingでは、クラスターのリソース不均衡や過負荷が継続的に監視され、必要に応じてクライアントの可用性に影響を与えることなくブローカーがスケーリングされます。
2025/11/12 - Amazon Managed Service for Prometheus collector now integrates with Amazon Managed Streaming for Apache Kafka
Amazon Managed Service for Prometheus（AMP）のコレクターが、Amazon Managed Streaming for Apache Kafka（MSK）と統合され、Amazon MSKクラスターからPrometheusメトリクスを自動的に検出・収集できるようになりました。
AMPコレクターはフルマネージドかつエージェントレスのPrometheusメトリクス収集機能です。これまでMSKクラスターでオープンモニタリングを利用するには、専用インフラの構築やエージェントのデプロイ、適切なサイジング、スケーリング作業を自前で行う必要がありました。
今回の統合により、AMPコレクターを設定するだけでMSKクラスターからPrometheusメトリクスを自動検出・収集できるようになります。JMX ExporterとNode Exporterからのメトリクス取得に対応しており、ホストレベル、JVMレベル、ブローカー関連のメトリクスをカバーします。メッセージキューの健全性監視やパーティションバランシングといったユースケースを実装可能です。
APIの変更点
2025/11/10 - Managed Streaming for Kafka - 1 new 9 updated methods
Amazon MSKは、MSK Expressブローカーのインテリジェントリバランシングをサポートするようになりました。
2025/11/18 - Managed Streaming for Kafka - 3 new methods
Amazon MSKに、MSKクラスター内のKafkaトピックを表示するための3つの新しいAPI（ListTopics、DescribeTopic、DescribeTopicPartitions）が追加されました。
Amazon Kinesis
新機能・アップデート
2025/11 - Amazon Kinesis Data Streams now supports up to 50 enhanced fan-out consumers
Amazon Kinesis Data Streamsが拡張ファンアウト（Enhanced Fan-Out）のコンシューマー数を最大50まで拡張しました。拡張ファンアウトでは、各コンシューマーがシャードあたり専用の2MB/秒のスループットを確保でき、他のコンシューマーと競合することなく低レイテンシでデータを受信できます。これまでの制限から大幅に増加し、より多くのリアルタイム処理アプリケーションを同一ストリームから並列でデータ消費できるようになりました。マイクロサービスアーキテクチャでの活用が広がります。
APIの変更点
2025/11/03 - Amazon Kinesis - 3 new 3 updated methods
新しい UpdateAccountSettings API で MinimumThroughputBillingCommitment のサポートが追加されました。新しい UpdateStreamWarmThroughput API と既存の CreateStream API および UpdateStreamMode API で、オンデマンド ストリームのウォーム スループットを構成するためのサポートが追加されました。
2025/11/21 - Amazon Kinesis Video Streams - 2 new 1 updated methods
階層型ストレージのサポートが追加されました。
AWS Clean Rooms
APIの変更点
AWS Clean Rooms Service - 3 updated methods
SQLパフォーマンスを最適化するための高度なSpark設定のサポートを追加しました。
AWS Lake Formation
新機能・アップデート
2025/11/26 - Amazon EMR and AWS Glue now support audit context support with Lake Formation
Amazon EMRとAWS GlueがLake Formationと連携した監査コンテキストをサポートしました。データアクセス操作に追加のコンテキスト情報（ジョブ名、ユーザー、セッション情報など）を付加でき、CloudTrailログでより詳細な監査証跡を確認できます。コンプライアンス要件への対応、セキュリティ調査、アクセスパターン分析が容易になります。誰がいつどのジョブからどのデータにアクセスしたかを正確に追跡し、ガバナンスとセキュリティ体制を強化します。
APIの変更点
2025/11/20 - AWS Lake Formation - 3 updated methods
CreateLakeFormationIdentityCenterConfigurationRequestおよびUpdateLakeFormationIdentityCenterConfigurationRequestにリクエストパラメータとしてServiceIntegrationsを追加し、DescribeLakeFormationIdentityCenterConfigurationResponseにレスポンスパラメータとして追加しました。
Amazon S3 Tables
APIの変更点
2025/11/06 - Amazon S3 Tables - 3 new 2 updated methods
S3 Tables向けのタグ付けAPIのサポートを追加しました。
2025/11/12 - Amazon S3 Tables - 3 new methods
S3 Tables向けのリクエストメトリクスAPIのサポートを追加しました。
Apache Iceberg
新機能・アップデート
2025/11/26 - AWS announces support for Apache Iceberg V3 deletion vectors and row lineage
特定のサービスに分類できないのですが、アナリティクス分野で注目度の高い Apache IcebergというOTP（Open Table Format）の大きなアップデートであるため、あえて紹介します。
Apache Iceberg V3仕様で定義された削除ベクターと行リネージのサポートを発表しました。Amazon EMR 7.12、AWS Glue、SageMaker Notebook、S3 Tables、Glue Data Catalogで利用可能です。削除ベクターは最適化された削除ファイルを書き込み、データパイプラインを高速化しデータコンパクションコストを削減。行リネージは各レコードにメタデータフィールドを提供し、シンプルなSQLクエリで変更を追跡可能。V3テーブル作成は「format-version = 3」プロパティを設定するだけで、既存テーブルのアップグレードも可能です。
最後に
Apache Icebergエコシステムの深化、AWS Glueのzero-ETL機能拡張、Amazon SageMaker Unified StudioのAIエージェント統合など、データ分析基盤の進化が顕著に見られます。Amazon RedshiftのIcebergテーブル書き込みサポートやAthenaのオートスケーリング機能も、運用効率の向上に貢献するでしょう。これらのアップデートは、データエンジニアやアナリストの生産性向上と、組織全体のデータ活用促進を支援します。
本日、12/2（現地時間では12/1）からre:Invent2025が開催されます。
