クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2025年2月号
2025.02.10クラウド事業本部コンサルティング部の石川です。今月は、AWS re:Invent2024の翌月なのでアップデートは少なめでしたが、Amazon Redshiftは、Zero-ETL統合関連やデフォルトセキュリティのアップデート、Amazon QuickSightの新機能「Dashboard Q&A」がリリースされました。
他にもアップデートがあるので紹介します！
Amazon Redshift Provisioned / Redshift Serverless
新機能・アップデート
2025/01/17 - Amazon Redshift が新たに 2 つの地理空間 H3 インデックス関数のサポートを発表
Amazon Redshiftは、Hexagonal Hierarchical Geospatial Indexing System (H3) のサポートを拡張し、2024年2月に導入されたH3インデックスに新たに2つの関数 H3_Center と H3_Boundary を追加しました。H3インデックスは位置情報を事前にインデックス化することで、大規模な空間クエリのパフォーマンスを向上させます。H3_Centerは入力インデックスからH3セルの重心を返し、領域の幾何学的中心を計算する際に利用可能です。一方、H3_Boundaryは入力インデックスからH3セルの境界を返します。
なお、Hexagonal Hierarchical Geospatial Indexing Systemとは、地球上の位置データを扱うための方法の一つで、六角形（ヘキサゴン）を用いた階層的な空間インデックスを生成するシステムです。このタイプのシステムは、地球表面を一定の形状の領域に分割し、それぞれの領域に一意の識別子を割り当てることで、大量の地理的データを効率的に管理・検索することが可能になります。最も有名な実装の一つが、UberのH3で位置データの効率的な管理と分析のために開発したオープンソースの地理空間インデックスシステムがあります。
2025/01/21 - Amazon Redshift がゼロ ETL 統合用の新しい SQL 機能を導入
Amazon Redshiftは、Zero-ETL統合のための3つの新しいSQL機能を発表しました。QUERY_ALL_STATES、TRUNCATECOLUMNS、ACCEPTINVCHARSと呼ばれるこれらのオプションは、データサイロの解消とタイムリーな分析・機械学習の実行を可能にします。
QUERY_ALL_STATESは更新中を含むすべての状態のテーブルへのクエリを可能にし、TRUNCATECOLUMNSは長さ制限を超えるVARCHARデータを自動的に切り捨て、ACCEPTINVCHARSは無効なUTF-8文字を指定の文字に置き換えます。
2025/01/22 - Amazon Redshift、ゼロ ETL 統合の履歴モードのサポートを開始
Amazon Redshiftは、Zero-ETL統合における履歴モードのサポートを開始しました。追加の設定やコード記述を必要とせず、Type 2 Slowly Changing Dimension (SCD2) テーブルを作成できるようになりました。履歴モードでは、データの変更履歴を完全に保存し、過去のデータの変化を追跡・分析することが可能です。これにより、時間経過に伴うデータ変化からインサイトを得るプロセスが簡略化されます。また、Amazon DynamoDBやRDSなど複数のデータソースでトレンド分析や高度な分析が容易になり、ストレージニーズと運用コストの削減にも寄与します。さらに、特定のテーブルでのみ履歴追跡を有効化できる柔軟性も提供されており、新旧統合の両方で利用可能です。
2025/01/28 - Amazon Redshift が新しいウェアハウスのデフォルトセキュリティ設定の強化を発表
Amazon Redshiftは、データセキュリティの向上を目的とした新しいデフォルト設定を発表しました。パブリックアクセスの無効化、データベース暗号化の有効化、安全な接続の強制が標準となります。新規作成またはスナップショットから復元されたクラスターでは、パブリックアクセシビリティが無効化され、同一VPC内からのみ接続が可能です。また、AWS KMSキーを指定しない場合でもAWS所有のキーによる自動暗号化が適用されます。さらに、require_sslパラメータがデフォルトで有効となり、安全なSSL接続が強制されます。これらの変更は新規クラスターやサーバーレスワークグループに適用されますが、既存のデータウェアハウスには影響しません。ユーザーは設定やスクリプトを見直し、新しいデフォルトに対応する必要があります。
このアップデートのタイミングでdefault.redshift-2.0という新しいデフォルトパラメータグループが追加されました。この変更により、新規作成または復元されたクラスターでは、このパラメータグループが自動的に適用され、「require_ssl」パラメータがデフォルトで「true」に設定されます。
2025/01/29 - Amazon Redshift がクエリのモニタリングと診断を改善する拡張クエリモニタリングをリリース
Amazon Redshiftは、クエリモニタリング機能を強化し、パフォーマンスのボトルネックを効率的に特定・分離する新機能をリリースしました。データウェアハウス内のクエリパフォーマンスを包括的に追跡、評価、診断できるツールであり、手動でシステムテーブルやログを分析する必要がなくなります。AWSコンソールからアクセス可能なこの機能では、パフォーマンス履歴の閲覧や傾向分析、ワークロードの変化検出が可能です。また、クエリプロファイラーを活用して詳細なクエリプランを分析し、問題のあるクエリを特定できます。管理者はSYS:MONITORロールを使用して全体のクエリを監視できる一方、通常のユーザーは自身のクエリのみ確認可能です。
AWS Glue
新機能・アップデート
2025/01/03 - AWS Glue Data catalog now automates generating statistics for new tables
AWS Glueの新機能は、14個の新しいネイティブコネクタを追加することで、データ統合の可能性を拡張しました。今回さらに追加になったコネクタは以下のとおりです。
- Blackbaud Raiser's Edge NXT
- CircleCI
- Docusign Monitor
- Domo
- Dynatrace
- Kustomer
- Mailchimp
- Microsoft Teams
- Monday
- Okta
- Pendo
- Pipedrive
- Productboard
- Salesforce Commerce Cloud
Amazon QuickSight
新機能・アップデート
2025/01/31 - Q in QuickSight Dashboard Q&A
Amazon QuickSightの新機能「Dashboard Q&A」は、ダッシュボードにワンクリックでデータQ&A機能を追加でき、自然言語でデータに関する質問や回答が可能です。この機能はダッシュボード内のセマンティック情報を自動抽出し、特定データへのQ&Aを実現するとともに、既存のトピックベースのQ&A体験を向上させます。QuickSight Authorは組織全体にカスタマイズされたデータインサイトへのセルフサービスアクセスを迅速に提供可能です。
Amazon EMR
新機能・アップデート
2025/01/30 - Amazon EMR Serverless adds support for Public Subnets
Amazon EMR Serverlessは、パブリックサブネットのサポートが追加され、クラウドからのアウトバウンドデータ転送をよりコスト効率よく行えるようになりました。従来はプライベートサブネットのみがサポートされており、NATゲートウェイを介した接続が必要で、データ転送量に応じた追加料金が発生していました。しかし、パブリックサブネットではインターネットゲートウェイへの直接ルートを使用できるため、NATゲートウェイのコストを削減できます。
Amazon MSK
新機能・アップデート
2025/01/13 - Amazon MSK Connect がコネクタ設定の更新をサポートするようになりました
Amazon MSK Connectが既存コネクタの設定更新をサポートする新機能をリリースしました。UpdateConnector APIを1回呼び出すだけで、ソースやシンクの宛先変更、処理設定の更新などが可能になります。これまで設定変更にはコネクタの削除と再作成が必要でしたが、このアップデートにより効率的な運用が実現します。コネクタ設定はAmazon MSKコンソール、AWS CLI、SDK、またはCloudFormationを通じて更新でき、更新後はMSKコンソールやAPIでステータス確認も可能です。
最後に
Amazon Redshiftでは、地理空間H3インデックス関数の追加、Zero-ETL統合のための新SQL機能の導入、履歴モードのサポート、セキュリティ設定の強化、クエリモニタリングの改善が実施されました。AWS Glueは14の新しいネイティブコネクタを追加し、データ統合の可能性を拡張しました。Amazon QuickSightには「Dashboard Q&A」機能が追加され、自然言語でのデータ質問が可能になりました。Amazon EMR Serverlessはパブリックサブネットのサポートを開始し、コスト効率を向上させました。さらに、Amazon MSK Connectは既存コネクタの設定更新をサポートするようになり、運用効率が改善されました。これらの更新により、AWSのデータ分析サービスの機能性と使いやすさが大幅に向上しています。
![[アップデート] AWS Step Functions の Map で分散モード ＆ S3 データソース時の入出力が JSONL をサポートしました](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-5f8ac6d1392d52f09eefb00a5ad1b303/fceee02f9b8607d60014a828933bc45b/aws-step-functions)
