クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2024年3月号

クラスメソッドの石川です。日々AWSのアナリティクス関連サービスのアップデートとそのブログをご紹介します。

今月は、Amazon Redshiftの空間系関数やINTERVALデータ型などのサポート、Amazon OpenSearch Serviceの数多くのアップデートがありました。待ちに待ったAmazon MWAAがApache Airflowバージョン2.8のサポートを開始しました。

Amazon Redshift

新機能・アップデート

2024/02/06 - Amazon RedshiftがH3インデックス作成および関連する空間グリッドインデックス作成機能のサポートを発表

Amazon Redshiftによる Hexagonal Hierarchical Geospatial Indexing System (H3) のサポートは、平方メートルの解像度まで空間座標をヘキサゴンのグリッドにインデックスする簡単な方法を提供します。インデックス付きデータは、さまざまなデータセット間で迅速に結合し、さまざまな精度レベルで集計できます。H3 では、最近傍法、最短パス、勾配平滑化など、ヘキサゴンのグリッドに基づいたいくつかの空間アルゴリズムと最適化が可能になります。

3 つの新しいH3インデックス関連の空間関数 (H3_FromLongLat、H3_FromPoint、H3_PolyFill 関数) のサポートと、Geosquares 関連の空間関数のサポートが利用できます。

なお、Hexagonal Hierarchical Geospatial Indexing Systemとは、地球上の位置データを扱うための方法の一つで、六角形（ヘキサゴン）を用いた階層的な空間インデックスを生成するシステムです。このタイプのシステムは、地球表面を一定の形状の領域に分割し、それぞれの領域に一意の識別子を割り当てることで、大量の地理的データを効率的に管理・検索することが可能になります。最も有名な実装の一つが、UberのH3で位置データの効率的な管理と分析のために開発したオープンソースの地理空間インデックスシステムがあります。

2024/02/08 - Amazon RedshiftがAPIを介したAdvisorレコメンデーションへのプログラムによるアクセスを発表

Amazon Redshiftのプロビジョンドクラスタでは、API 経由でRedshift Advisorの推奨事項にプログラムでアクセスできるようになりました。ListRecommendations APIを介して Advisorレコメンデーションにアクセスし、オートメーションツールやダッシュボードで使用できるようになりました。

2024/02/13 - Amazon RedshiftがINTERVALデータ型とストアドプロシージャのContinue Handlerステートメントのサポートを発表

Amazon Redshiftは、INTERVALデータ型のサポートしました。

例. 指定された日付に1秒を追加した場合

dev=# WITH mydate AS (SELECT '2024-03-01 00:00:00'::timestamp AS caldate)
SELECT caldate + interval '1 second' as dateplus FROM mydate;
      dateplus
---------------------
 2024-03-01 00:00:01
(1 row)

例. 指定された日付に 1週、1時間、1分、および1秒を追加した場合

dev=# WITH mydate AS (SELECT '2024-03-01 00:00:00'::timestamp AS caldate)
SELECT caldate + interval '1w, 1h, 1m, 1s'  AS dateplus FROM mydate;
      dateplus
---------------------
 2024-03-08 01:01:01
(1 row)

また、ストアドプロシージャ内の実行フローをより適切に制御できる Continue Handlers のサポートしました。この新しい例外ハンドラーにより、アプリケーションはストアドプロシージャ内の例外をより適切に処理できるようになり、カスタムロジックでContinue Handlerを使用してエラーを別のトランザクションで処理し、エラーの発生後にステートメントの実行を再開できるようになります。

2024/02/13 - Amazon Redshiftがデータ共有におけるスコープ指定されたアクセス許可とオブジェクトレベルの権限のサポートを発表

Amazon Redshiftは、スコープ指定されたアクセス許可をデータベースやスキーマに対して、ロールまたはユーザーGRANT、REVOKEできるようになりました。

また、データ共有コンシューマーに対するオブジェクト レベルのアクセス許可を使用すると、スキーマレベルでのみ可能であったアクセス許可よりも詳細なレベルでデータ共有コンシューマーから共有データベースへのアクセスを許可できます。データ共有コンシューマのユーザーとロールは、権限を持つオブジェクトにのみアクセスできます。データ コンシューマとして、共有データベースまたはスキーマに対するオブジェクト レベルの権限を定義するには、WITH PERMISSIONS オプションを使用してデータ共有からデータベースを作成する必要があります。

恐らく、従来のDBユーザーに対するALTER DEFAULT PRIVILEGESのようにスキーマ単位で権限付与する方法を、ロールベースのアクセス管理でも可能にするアップデートではないかと考えられます。

APIの変更点

2024/02/07 - Amazon Redshift - 1 new api methods

Amazon Redshift Advisorの推奨事項をAPI取得するためのLisRecommendations APIのサポート。

AWS Glue

新機能・アップデート

2024/02/08 - AWS Glue データカタログで IAM ロールへの KMS キー権限の委任が可能に

AWS Glue データカタログで、IAM ロールへの暗号化権限の委任がサポートされるようになりました。お客様は、呼び出し元のユーザーに代わって KMS キー権限を管理するように、Glue データカタログで IAM ロールを設定できます。設定した IAM ロールを委任すると、Glue データカタログの暗号化に使用される KMS キー権限の管理が簡素化され、ユーザーにカタログへのアクセスを許可するために必要なグラントの数が減ります。

以下のように設定することで、実行ロールに KMS キー権限が付与されるので権限管理が簡素化するようです。

APIの変更点

2024/02/05 - AWS Glue - 2 updated api methods

Glue データカタログ設定内にカタログ暗号化ロールを導入します。 Glue Kafka 接続の認証方法として SASL/PLAIN を導入します。

Amazon QuickSight

APIの変更点

2024/02/08 - Amazon QuickSight - 9 updated methods

• ビジュアルに関する一般的なインタラクション
• ウォーターフォールチャートの色の構成
• ドキュメントの更新

Amazon OpenSearch Service

新機能・アップデート

2024/02/06 - Amazon OpenSearch Serviceで、ドメイン更新の可視性が向上

Amazon OpenSearch Service で、ドメイン更新の進行状況の可視性が向上しました。更新のさまざまな段階を示す詳細なステータス値を確認できるため、設定変更のモニタリングとオートメーションが簡素化されます。

2024/02/14 - Amazon OpenSearch Serviceでブルー/グリーンデプロイを使用しないクラスターボリュームの更新が可能に

Amazon OpenSearch Service では、ブルー/グリーンデプロイを必要とせずに、クラスターのボリュームサイズ、ボリュームタイプ、IOPS、スループットを更新できるようになりました。これにより、ブルー/グリーンデプロイを事前に計画しなくても、EBS 設定を簡単に変更できます。

2024/02/14 - Amazon OpenSearch ServerlessがTLS 1.3とPerfect Forward Secrecyのサポートを開始

Amazon OpenSearch Serverless が Transport Layer Security (TLS) バージョン 1.3 に対応し、ワークロードのセキュリティオプションが強化されたことをお知らせしました。

今後は、OpenSearch クライアントと API が TLS バージョン 1.3 を使用してコレクションエンドポイントに接続できるようになります。TLS バージョン 1.3 は、古い TLS バージョンと比較して、セキュリティとパフォーマンスが強化されています。さらに、コレクションエンドポイントは、Perfect Forward Secrecy をサポートするようになりました。これにより、暗号化されたデータの盗聴に対する保護がさらに強化されます。

2024/02/28 - Announcing Terraform support for Amazon OpenSearch Ingestion deployments

Terraform を使用して Amazon OpenSearch Ingestion パイプラインのプロビジョニングと設定を行うことができ、Terraform の Infrastructure as Code 機能を活用して、Amazon OpenSearch Ingestion パイプラインのデプロイメントを自動化および合理化して、拡張可能な高速で再現性のある安全なデプロイメント オプションを提供できるようになりました。

2024/02/29 - Amazon OpenSearch Serverless customers can now control access to VPC endpoints

Amazon OpenSearch Serverless は、管理者がエンドポイントポリシーをアタッチして、VPC エンドポイントを介した OpenSearch リソースへのアクセスをどの AWS プリンシパルに許可または拒否するかを制御できるようになりました。VPC エンドポイントポリシーを使用すると、ユーザーは AWSプリンシパルおよびリソースとアクションを組み合わせて、VPC エンドポイントを通過するトラフィックの許可または拒否をより詳細に制御することもできます。

APIの変更点

2024/02/06 - Amazon OpenSearch Service - 1 new 9 updated api methods

ドメインに加えた変更を明確に把握できるようになります。

2024/02/15 - Amazon OpenSearch Service - 12 updated api methods

サポートされるインスタンス タイプを追加します。

Amazon MWAA

新機能・アップデート

2024/02/23 - Amazon MWAAがApache Airflowバージョン2.8のサポートを開始

Amazon Managed Workflows for Apache Airflow (MWAA) で Apache Airflow バージョン 2.8 環境を作成できるようになりました。

最後に

re：Invent2023で新サービスを大量放出したこともあり、Analytics関連は小粒なアップデートがメインでしたが、データ分析のデータソース（データシンク）になる、Amazon Data Firehoseが日本時間(JST)を反映させたS3プリフィックス設定ができるようになり、個人的にはこのアップデートも気になるアップデートでした。