クラスメソッドデータアナリティクス通信(AWSデータ分析編) – 2024年5月号

Amazon RedshiftはZero-ETL統合のMulti-AZデプロイメント、Amazon Athenaのフェデレーテッドクエリパススルー機能、Amazon QuickSightのAWS PrivateLinkのサポートとIAMアイデンティティセンターのアカウントインスタンスを新たに統合など。

クラスメソッドデータアナリティクス通信(AWSデータ分析編)

#Amazon Redshift

#Amazon Athena

#Amazon QuickSight

#AWS Glue

#Amazon DataZone

石川覚

2024.05.09

はじめに

クラスメソッドの石川です。日々AWSのアナリティクス関連サービスのアップデートとそのブログをご紹介します。

今月は、Amazon RedshiftはZero-ETL統合のMulti-AZデプロイメントで高可用性を実現し、ダウンタイムなしの分析を可能に。Amazon Athenaのフェデレーテッドのクエリパススルー機能で、BigQueryやSnowflakeなどの外部データソースへの直接アクセスが可能になり、データ処理の効率が飛躍的に向上。さらに、Amazon QuickSightはAWS PrivateLinkのサポートとIAMアイデンティティセンターのアカウントインスタンスを新たに統合し、データのプライバシーとセキュリティを強化など。

他にもアップデートがあるので紹介します！

Amazon Redshift

新機能・アップデート

2024/04/30 - Amazon Redshift announces support for Multi-AZ deployment with zero-ETL integration

Amazon Redshiftは、RA3クラスター上でZero-ETL統合のためのMulti-AZデプロイメントをサポートするようになりました。これにより、ニアリアルタイム分析における高可用性が得られます。 Multi-AZデプロイメントを利用すると、インフラ障害やアベイラビリティゾーン障害が発生した場合でも、Zero-ETL統合が自動的に復旧します。そのため、分析ワークロードの中断が心配なく、常に最新のデータに近い状態で分析を行うことが可能になります。

Amazon Athena

新機能・アップデート

2024/04/16 - Amazon Athena announces federated query pass-through

Amazon Athena は、データソースコネクタを用いることでBigQueryやSnowflakeなどのデータソースに接続してクエリを実行できます。federated query pass-throughは、クエリ全体をベースとなるデータソースで直接実行できる新機能です。federated query pass-throughを使用すると、さまざまなデータソースの独自の機能、クエリ言語、パフォーマンス機能を活用できるため、Athena によるクエリの実行が速くなり、処理されるデータ量が減ります。

Amazon QuickSight

新機能・アップデート

2024/04/15 - AWS PrivateLink が Amazon QuickSight のサポートを開始

AWS PrivateLink が Amazon QuickSight をサポートするようになりました。これにより、QuickSight ウェブサイトをパブリックインターネットに公開することなくプライベート接続が可能になります。この統合により、管理者は VPC エンドポイントポリシーを使用して、ネットワーク上で承認されていない QuickSight アカウントへのアクセスを制限することもできます。

2024/04/15 - Amazon QuickSight が IAM アイデンティティセンターのアカウントインスタンスを新たにサポート

Amazon QuickSight は、QuickSight エンタープライズエディションの新規セットアップする際にIAM アイデンティティセンターのアカウントインスタンスをサポートするようになりました。

管理者はQuickSight エンタープライズエディションの新規セットアップ時に、同じ AWS アカウントに属する IAM アイデンティティセンターのアカウントインスタンスを選択できます。アカウントインスタンスは、IAM アイデンティティセンターのワークフォースアイデンティティとアクセスポータル機能を活用し、単一の AWS アカウント内でのアプリケーションの分離デプロイをサポートします。アカウントインスタンスは単一の AWS アカウントに紐付けられ、そのアカウントと同一リージョンにあるアプリケーションのユーザーとグループのアクセス管理にのみ使用されます。

2024/04/23 - Amazon QuickSight がシート間のフィルターとコントロールをリリース

Amazon QuickSight は、シート間フィルターとコントロール機能を提供開始しました。これにより、分析者やダッシュボード作成者は、分析全体またはダッシュボード全体にわたってフィルターとコントロールを容易に作成、管理できるようになります。

従来、個別に設定が必要だったフィルターの設定でしたが、新機能を用いることで数回のクリックで複数のシート、分析、ダッシュボード全体に適用できるようになります。フィルターを編集すると、その変更は設定された範囲全体に自動的に反映されます。さらに、該当するシートにフィルターコントロールを追加、変更、削除することも簡単に行えます。

APIの変更点

2024/04/05 - Amazon QuickSight - 1 updated api methods

CreateAccountSubscription にIAMIdentityCenterInstanceArnパラメーターが追加すされました。

AWS Glue

APIの変更点

2024/04/02 - AWS Glue - 6 updated api methods

読み取り専用テーブル API の応答にビュー関連フィールドを追加しました。

Amazon DataZone

新機能・アップデート

2024/04/03 - Amazon DataZone と AWS Lake Formation ハイブリッドモードの統合を発表

Amazon DataZone と AWS Lake Formation ハイブリッドモードの統合が発表されました。この統合により、最初に AWS Lake Formation に登録することなく、Amazon DataZone を介して AWS Glue テーブルを簡単に公開および共有できるようになります。

ハイブリッドモードでは、既存の IAM アクセス許可を維持しながら、AWS Lake Formation を介して AWS Glue テーブルに対するアクセス許可を管理することが可能になります。

2024/04/03 - Amazon DataZone と AWS Glue Data Quality の統合を開始

Amazon DataZoneはAWS Glue Data Qualityとの統合を開始し、サードパーティのデータ品質ソリューションからのデータ品質メトリクスを統合するAPIを提供しました。

AWS Glue Data Qualityは、データの品質を自動的に分析し、統計情報を収集するツールです。推奨されるデータ品質ルールを設定し、それに基づいてデータの検証を行うことができます。また、データ品質が低下した場合にユーザーに警告するアクションを設定することも可能です。Amazon DataZoneは、AWS Glueと直接統合され、AWS Glue データ品質スコアを表示できるようになりました。さらに、Amazon DataZoneは外部システムからデータ品質スコアをインポートするためのAPIも提供しています。

APIの変更点

2024/04/01 - Amazon DataZone - 4 new 1 updated api methods

Amazon DataZone のビジネスデータカタログを充実させるための説明の AI レコメンデーション機能がサポートされました。

2024/04/03 - Amazon DataZone - 4 new 10 updated api methods

Amazon DataZone の dataQualityResult でアセットを強化する dataQuality の機能がサポートされました。

AWS Clean Rooms

新機能・アップデート

2024/04/03 - AWS Clean Rooms ML の一般提供が開始

AWS Clean Rooms MLは、お客様とパートナーがプライバシー強化機械学習（ML）を適用して、互いに未加工データを共有せずに予測的なインサイトを生成できるサービスです。この機能は、企業が類似セグメントを作成するのに役立つMLモデルでリリースされており、自社のデータを利用して独自のカスタムモデルをトレーニングできるほか、少量のレコードサンプルをコラボレーションで利用できるようにパートナーを招待することもできます。

2024/04/10 - AWS Clean Rooms Differential Privacy の一般提供を開始

AWS Clean Rooms Differential Privacyは、AWSのデータクリーンルームに差分プライバシーを実装した機能です。データクリーンルームは、企業間でデータを共有せずに分析を行うための環境であり、差分プライバシーは個人の特定を防ぎつつデータセットを分析できる技術です。この機能は、数学的に裏付けされた直感的なコントロールを提供し、ユーザーのプライバシーを保護します。AWS Clean Rooms Differential Privacyは、広告キャンペーン、投資の意思決定、臨床研究などの洞察を生成するために幅広いSQLクエリを実行できます。

APIの変更点

2024/04/03 - AWS Clean Rooms ML - 1 updated api methods

AWS Clean Rooms ML API のパブリック SDK が含まれており、世界中の開発者がグローバルに利用できるようになりました。

Amazon OpenSearch

新機能・アップデート

2024/04/04 - Amazon OpenSearch Ingestion が地理的位置によるストリーミングデータのエンリッチメントに対応

Amazon OpenSearch Ingestion に、IP アドレスの地理的位置データを使用してイベントをエンリッチする機能が追加されました。これにより、オブザーバビリティデータやセキュリティデータにリアルタイムでコンテキストを追加できます。さらに、Amazon OpenSearch クラスターでマッピングテンプレートを設定することで、OpenSearch ダッシュボードを使用してこれらのエンリッチされたイベントを地理的マップ上に自動的に表示することもできます。

Data Prepper 2.7.0 がサポートに伴い、XML および Amazon Ion データフォーマットプロセッサ、gzip 圧縮フィールドの解凍、トランケートプロセッサ、ファイルソースのコーデックサポート、イベントを分割するための split_event プロセッサ、イベントからフィールドをフィルタリングするための select_entries プロセッサなどの新機能が導入されました。

2024/04/08 - Amazon OpenSearch Service でブルー/グリーンデプロイを使用しないノード数の更新が可能に

Amazon OpenSearch Serviceは、専用のクラスターマネージャー（マスター）ノードがないクラスターで、ブルー/グリーンデプロイを使用せずにデータノードの数を更新できるようになりました。この変更により、ノード数の変更をより迅速に行えるようになります。

2024/04/30 - Amazon OpenSearch Service now supports Route 53 alias record for custom endpoint

Amazon OpenSearch Service は、カスタムドメインエンドポイントを定義するための Amazon Route 53 エイリアスレコードをサポートしました。エイリアスレコードを使用すると、AWS リソースへのルーティングを構成する際の柔軟性が向上します。

今回のリリースとCNAME サポートにより、カスタムエンドポイントに対して IPv4 または IPv6 タイプの Route 53 エイリアスレコードを作成し、それをドメインのデュアルスタック検索エンドポイントにポイントできるようになります。

Amazon EMR

新機能・アップデート

2024/04/01 - EC2 での Amazon EMR で異常のあるコアノードのグレースフルな置き換えを開始

EC2のAmazon EMRは、異常のあるコアノードを自動的にグレースフルに交換して、クラスターの運用を継続的に最適化し、データ損失を防ぐことができます。さらに、EC2 での EMR は CloudWatch イベントを発行して、ノードの正常性および復旧アクションを可視化します。

以前は、終了保護されたクラスターでは、異常のあるコアノードはアイドル状態のままで、クラスター容量にカウントされ続けていました。他のクラスターでは、コアノードの交換プロセスがグレースフルに行われませんでした。今回のローンチにより、Amazon EMR は、クラスターの終了保護設定に関係なく、異常のあるコアノードをグレースフルにデコミッションして交換することで、ジョブの中断を最小限に抑え、データ損失を防ぎます。Amazon EMR では、EMR コンソールと Amazon EventBridge で利用できる、異常のあるノードの交換イベントも発行します。

2024/04/11 - EKS での Amazon EMR で Amazon EKS の簡略化されたアクセス管理コントロールのサポートを開始

EKSのAmazon EMR は、認証と認可のユーザーエクスペリエンスが簡略化されました。EKS のアクセス管理コントロールを使用して、EKS クラスターでの Amazon EMR アプリケーションの実行に必要な権限が自動的に取得されます。

従来は、aws-authと RBAC (ロールベースのアクセスコントロール) の設定を行う必要がありましたが、今後は、EKS クラスターに EMR の IAM ロールへのアクセス権限を付与すると、RBAC や aws-auth を手動で設定しなくても、自動的に EKS での EMR に EKS クラスターへのアクセス権が付与されるようになります。