クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2024年11月号
2024.11.06AWS事業本部コンサルティング部の石川です。日々AWSのアナリティクス関連サービスのアップデートとそのブログをご紹介します。
今月も、Amazon RedshiftのZero-ETL 統合関連の一般利用開始（GA）やアップデートなど、Redshiftアップデート祭りで、ほとんどの機能検証しました。また、Amazon QuickSight関連のアップデートもたくさんありました。今月はたくさん検証ブログを書きましたので、気になるアップデートは深堀りできるはずです。
他にもアップデートがあるので紹介します！
Amazon Redshift Provisioned / Redshift Serverless
新機能・アップデート
2024/10/01 - Amazon Redshift が RA3.large インスタンスをリリース
Amazon Redshift 新しい最小インスタンス ra3.large インスタンスがリリースされました。Amazon Redshift Provisionedの ra3.large インスタンスは、ストレージとコンピューティングが分離され、個別の支払い、データ共有、同時実行スケーリングの書き込み操作サポート、Zero-ETL、Multi AZ など、Redshift Managed Storage (RMS) のすべてのイノベーションを提供します。本日から東京リージョンで利用可能です。
詳しくは、ブログをご覧ください。
2024/10/10 - Amazon Redshift がクエリパフォーマンスのモニタリングを改善するためのクエリ識別子を導入
新しい 「クエリ識別子」（query hash） を導入することで、実行したクエリのトレースが容易になり、パフォーマンスの監視が改善されます。Amazon Redshiftが導入した新機能 「クエリ識別子」（query hash） は、SQLクエリに対して一意の識別子を割り当てる仕組みです。この識別子は、クエリのテキスト表現と述語値に基づいて生成されます。これらの新しい列は、SYS_QUERY_HISTORYビューに追加されました。
詳しくは、ブログをご覧ください。
2024/10/11 - Amazon Redshift がデータレイクテーブルとのデータ共有の一般提供を発表
Amazon Redshiftのデータレイクテーブルのデータ共有機能が一般提供されました。この機能は、異なるAmazon Redshiftウェアハウス間でデータレイクテーブルをセキュアかつ便利に共有できるようになる機能です。この新機能により、Redshiftユーザーは各ウェアハウスでデータレイクテーブルを再設定する必要がなくなり、管理オーバーヘッドが削減されます。SQLまたはRedshiftコンソールを使用して、テーブルやビューなど様々なレベルでデータを安全に共有できます。
2024/10/14 - Amazon Redshift、ゼロ ETL 統合の更新間隔のサポートを開始
Zero-ETL統合において新たなに 「refresh interval」をサポート しました。この機能により、Amazon Redshiftへのデータレプリケーションの頻度をより柔軟にコントロールできるようになります。Amazon RedshiftのZero-ETL統合は、refresh interval機能によってデータの継続的なレプリケーションプロセスの開始タイミングを制御できます。リアルタイム性と処理負荷のバランスを取ることが可能になり、不必要に頻繁なデータ更新を避けることで、システムリソースをより効率的に使用できるようになります。
詳しくは、ブログをご覧ください。
2024/10/15 - Amazon Aurora PostgreSQL と Amazon Redshift のゼロ ETL 統合が一般利用可能に
Amazon Aurora PostgreSQL と Amazon Redshift の Zero-ETL 統合の一般提供を開始しました。プレビュー版とはZero-ETLの設定画面やその流れがかなり変わっています。本日はこの新機能が動作する環境を構築し、データがニアリアルタイムで同期される事を検証しました。この新機能は、複雑なETL(抽出・変換・ロード)パイプラインを構築・管理することなく、Aurora PostgreSQLのトランザクションデータをAmazon Redshiftで簡単にデータを連携できるようになるサービスです。
詳しくは、ブログをご覧ください。
2024/10/15 - AWS が Amazon DynamoDB と Amazon Redshift のゼロ ETL 統合の一般提供開始を発表
Amazon DynamoDB と Amazon Redshift の Zero-ETL 統合の一般提供を開始しました。本日はこの新機能が動作する環境を構築し、データがニアリアルタイムで同期される事を検証しました。
この新機能は、DynamoDB から Redshift への複雑なデータパイプラインの構築と維持することなくデータが連携され、ニアリアルタイムな分析に利用できるようになります。
- DynamoDB のデータが Redshift にシームレスに複製され、15-30分ごとに増分更新されます。
- DynamoDB のパフォーマンスや可用性にほとんど影響を与えず、読み取りキャパシティユニット(RCU)も消費しません。
- Redshift の高性能 SQL、機械学習、Spark 統合、マテリアライズドビューなどの機能を活用できます。
詳しくは、ブログをご覧ください。
2024/10/22 - Amazon Redshift がクエリのモニタリングと診断を強化するクエリプロファイラーを発表
Amazon Redshiftは、クエリの可視性とトラブルシューティングを強化する 新機能「Query Profiler」 を発表しました。Query Profilerは、AWSコンソール内でクエリの実行順序、実行計画、および統計情報をグラフィカルに表示し、システムテーブルやログを手動で分析することなく、クエリのパフォーマンスを簡単に監視、分析、トラブルシューティングすることが可能になります。
詳しくは、ブログをご覧ください。
2024/10/30 - Amazon Redshift now supports incremental refresh on Materialized Views (MVs) for data lake tables
データレイクテーブルのマテリアライズドビューに対する増分更新のサポートされました。これにより、大規模なデータレイクからマテリアライズドビューを短時間で増分更新が可能となり、マテリアライズドビューの利用用途を広げることができます。
マテリアライズドビューの増分更新は、Amazon Redshiftは最後の更新以降にベーステーブルで変更されたデータのみを更新します。ベーステーブルのデータが変更されるたびにマテリアライズドビュー全体を再計算する必要がなくなり、コスト効率が大幅に向上します。
詳しくは、ブログをご覧ください。
2024/10/30 - Announcing general availability of auto-copy for Amazon Redshift
Amazon S3からAmazon Redshiftへのデータ取り込みを簡素化するAmazon Redshift S3イベント統合による「Auto-copy」機能が一般提供開始されました。この新機能により、追加のツールやカスタムソリューションを必要とせずに、S3からRedshiftテーブルへの継続的なファイル取り込みが可能になります。
Auto-copy 機能は、S3イベント統合を活用して、シンプルなSQLコマンドでAmazon S3からAmazon Redshiftへのデータ自動ロードを実現します。
詳しくは、ブログをご覧ください。
2024/10/30 - AWS announces Amazon Redshift integration with Amazon Bedrock for generative AI
AWSは、Amazon RedshiftとAmazon Bedrockの統合を発表しました。この統合により、Redshiftは、データに対して、大規模言語モデル（LLM）を使用した生成AIタスクを簡単に実行できるようになります。
具体的には、言語翻訳、テキスト生成、要約、顧客分類、感情分析などのタスクを、Anthropic Claude、Amazon Titan、Llama 2、Mistral AIなどの人気のある基盤モデルを使用して行うことができます。CREATE EXTERNAL MODELコマンドを使用してBedrockのLLMを指定し、馴染みのあるSQLコマンドでモデルを呼び出すことができます。
詳しくは、ブログをご覧ください。
2024/10/30 - Announcing Amazon Redshift Serverless with AI-driven scaling and optimization
Amazon Redshift Serverlessが、AIを活用した新しいスケーリングと最適化機能を導入しました。この機能は、データ量の変化、同時ユーザー数、クエリの複雑さなど、すべての主要な側面で自動的にスケーリングを行います。
AIによる最適化は、ワークロードパターンを学習し、リソースを自動調整することで、パフォーマンスとコスト効率を向上させます。これにより、過剰なプロビジョニングを最小限に抑え、実際のニーズに合わせたキャパシティを確保します。さらに、価格とパフォーマンスのバランスを調整できるスライダーも提供されています。
詳しくは、ブログをご覧ください。
APIの変更点
2024/10/15 - Amazon Redshift - 4 new api methods
Amazon Redshift Zero-ETL 統合を作成および管理するための CreateIntegration、DeleteIntegration、DescribeIntegrations、および ModifyIntegration API がリリースされました。
2024/10/29 - Redshift Data API Service - 1 new 4 updated api methods
ExecuteStatement および BatchExecuteStatement 呼び出しからの CSV 形式の結果をサポートする新しい API GetStatementResultV2 を追加します。
2024/10/30 - Redshift Serverless - 5 updated api methods
価格パフォーマンス目標設定を使用して、Redshift Serverless AI 駆動型スケーリングおよび最適化機能の API メンバーを追加および更新します。
AWS Glue
APIの変更点
2024/10/31 - AWS Glue - 6 new 2 updated api methods
AWS Glue カラム統計のスケジュールサポートを追加。
Amazon Data Firehose
新機能・アップデート
2024/10/01 - Amazon Data Firehose は Amazon S3 の Apache Iceberg 形式のテーブルにデータストリームを配信
Amazon Data Firehoseは、Amazon S3の Apache Icebergテーブルへのデータストリーム配信に対応しました。この新機能により、様々なAWSサービスやデータソースからS3のApache Icebergテーブルへ直接データをストリーミングできるようになりました。また、受信レコードの内容に基づいて異なるテーブルへのルーティングや、行レベルの更新・削除操作の適用も可能です。
詳しくは、ブログをご覧ください。
Amazon QuickSight
新機能・アップデート
2024/10/18 - Amazon QuickSight でプログラムによる共有フォルダのエクスポートとインポートがサポートされるようになりました
Amazon QuickSightで、共有フォルダのプログラムによるエクスポートとインポートが可能になりました。StartAssetBundleExportJobとStartAssetBundleImportJob APIの更新として提供されています。この機能により、QuickSightフォルダとそのメンバーアセット、サブフォルダのバックアップ、復元、複製、移行が容易になります。
詳しくは、ブログをご覧ください。
2024/10/18 - QuickSight Reporting で API によるスケジュールされたレポートのトリガーがサポートされるようになりました
Amazon QuickSight ReportingでAPIを使用してスケジュールされたレポートをトリガーできるようになりました。この機能は、開発者がAWS SDKを使用してStartDashboardSnapshotJobSchedule APIを呼び出し、ピクセルパーフェクトレポートとダッシュボードレポートをEメールで配信できます。QuickSightにログインせずに自動ワークフローを設定し、データセットの更新やビジネス特有のシグナルに基づいてレポートを配信することが可能になりました。
詳しくは、ブログをご覧ください。
詳しくは、ブログをご覧ください。
2024/10/18 - Amazon QuickSight が Amazon EventBridge との統合を拡大
Amazon QuickSightがAmazon EventBridgeとの統合を拡大し、より多くのイベントをサポートするようになりました。この統合により、継続的デプロイやバックアップなどのワークフローを自動化できます。開発者は、関心のあるイベントやアクションを指定するルールを作成可能です。
詳しくは、ブログをご覧ください。
What's New でのアナウンスがないアップデート
2024/10/03 - [アップデート] Amazon QuickSight のコントロールオプションで適用ボタンを表示できるようになりました
QuickSight の作成者は、カレンダー、相対日付ピッカー、または複数選択ドロップダウン コントロールに [適用] ボタンを追加できるようになりました。これにより、ユーザーが [適用] を選択するまでビジュアルの再読み込みが遅延されます。
詳しくは、ブログをご覧ください。
APIの変更点
2024/10/03 - Amazon QuickSight - 7 updated api methods
QuickSight: AssetBundle API でのフォルダのエクスポートとインポートのサポートを追加。
Amazon DataZone
新機能・アップデート
2024/10/17 - Amazon DataZone が AWS IAM アイデンティティセンターアカウントインスタンスのサポートを開始
Amazon DataZoneは、AWS IAMアイデンティティセンターのアカウントインスタンスをサポートしました。AWS Organizations経由での組織設定なしに、単一のAWSアカウントでAWS IAMアイデンティティセンターを有効化し、SSOユーザーを設定できます。管理者は、DataZoneドメイン作成時にアカウントインスタンスオプションを選択し、特定のユーザーやグループにアクセス権を付与できます。
2024/10/18 - Amazon DataZone でメンバーが特定のタスクを実行するための新しい指定がプロジェクトに導入されました
Amazon DataZoneに新しいプロジェクト指定機能が導入されました。**プロジェクト所有者はメンバーに特定のタスクを割り当てることができます。**メンバーは、コンシューマー、スチュワード、ビューワーの3つの役割のいずれかを担当し、それぞれの権限に応じてデータの閲覧、購読、承認などの作業を行えます。これにより、チーム間のコラボレーションを促進しつつ、ガバナンス制御を確立することが可能になります。
2024/10/30 - Amazon DataZone expands data access with tools like Tableau, Power BI, and more
Amazon DataZoneは、Athena JDBCドライバーによる認証をサポートし、TableauやPower BIなどのBIツールでデータレイクアセットへのアクセスが可能になりました。最新のAthena JDBCドライバーをインストールし、DataZoneポータルからJDBC文字列をコピーして接続を設定します。シングルサインオンで認証後、データの照会、可視化、共有が可能になります。
APIの変更点
2024/10/18 - Amazon DataZone - 5 updated api methods
以下のプロジェクト メンバー指定を追加しました。
- CreateProjectMembership API
- PROJECT_CATALOG_VIEWER
- PROJECT_CATALOG_CONSUMER
- PROJECT_CATALOG_STEWARD
- AddPolicyGrant API
- PROJECT_CATALOG_STEWARD
AWS Clean Rooms Service
APIの変更点
2024/10/29 - AWS Clean Rooms Service - 15 updated api methods
コラボレーションの作成時に顧客が分析エンジンを構成するオプションが追加され、従来の CLEAN_ROOMS_SQL エンジン タイプを維持することに加えて、新しい SPARK 分析エンジン タイプが導入されています。
Amazon Managed Service for Apache Flink
新機能・アップデート
2024/10/23 - Amazon Managed Service for Apache Flink now supports per second billing
Amazon Managed Service for Apache Flinkの課金方式を1秒単位の精度に変更しました。ユーザーはより細かな単位でサービスの使用量を管理できるようになり、コスト効率が向上します。従来の1時間単位の課金と比べ、短時間のジョブ実行や頻繁な開始・停止を行うユーザーにとって特に有益です。
Amazon OpenSearch
新機能・アップデート
2024/10/08 - Amazon OpenSearch Serverless が一連の新機能と拡張機能を導入
Amazon OpenSearch Serverlessは、フラットオブジェクトデータ型、拡張された地理空間機能、新しいフィールドタイプ、多項集計機能が追加されました。インデックス作成の高速化、検索パフォーマンスの向上、分析機能の拡張が可能になります。また、インデックス作成のレイテンシー削減や検索ソートの高速化も実現しました。
APIの変更点
2024/10/28 - Amazon OpenSearch Service - 7 updated api methods
専用コーディネーター ノードのプロビジョニングのサポートを追加します。コーディネーター ノードは、ClusterConfig の新しい NodeOptions パラメータを使用して指定できます。
2024/10/30 - OpenSearch Service Serverless - 4 updated api methods
IAM アイデンティティ センター (IdC) 経由の Neo 統合。
2024/10/30 - Amazon OpenSearch Service - 5 new 9 updated api methods
新しい OpenSearch ユーザー インターフェイス (ダッシュボード) が導入されました。OpenSearch 管理クラスター、サーバーレス コレクション、Amazon S3 全体の複数のデータ ソースに関連付けることができる新しい Web ベースのアプリケーションであり、ユーザーは統合されたインターフェイスで包括的な洞察を得ることができます。
Amazon MWAA
新機能・アップデート
2024/10/23 - Amazon MWAA now simplifies interaction with the Airflow REST API
Amazon Managed Workflows for Apache Airflow (MWAA) は、Airflow REST API との対話を簡素化する新機能を導入しました。AWS Management Console や AWS CLI を通じて、Airflow REST API エンドポイントに直接アクセスできるようになりました。DAG の一時停止や再開、タスクの状態確認など、Airflow 環境の管理が容易になります。
APIの変更点
AmazonMWAA - 1 new api methods
指定された入力を使用して Web サーバー上で Apache Airflow REST API を呼び出すことができる InvokeRestApi がアップデートされました。
Amazon EMR Serverless
新機能・アップデート
2024/10/01 - Amazon EMR Serverless でジョブ実行の同時実行とキューイングの制御を導入
Amazon EMR Serverlessは、ジョブ実行の同時実行とキューイングの制御を導入しました。1つのアプリケーションに対する同時実行ジョブの最大数を設定し、他のジョブを自動的にキューに入れることができます。APIの制限超過やリソース不足によるジョブ実行の失敗を防ぎ、効率的なリソース利用が可能になります。また、複雑なキュー管理システムの構築が不要になり、ジョブ実行の管理が簡素化されます。
2024/10/30 - Amazon EMR 7.3 now provides enhanced protection for In-Transit data
Amazon EMR 7.3 がリリースされ、転送中データの保護が強化されました。この更新では、HDFS と YARN のトラフィックに TLS 暗号化が導入され、クラスター内のノード間通信のセキュリティが向上しました。また、Apache Spark と Apache Hive のシャッフルトラフィックにも TLS 暗号化が適用されるようになりました。これにより、データの機密性と整合性が保護され、中間者攻撃のリスクが軽減されます。さらに、Amazon S3 への EMRFS 接続にも TLS が使用されるようになり、クラスターとS3間の通信セキュリティも強化されました。
Amazon MSK
新機能・アップデート
2024/10/01 - Amazon MSK API が AWS PrivateLink のサポートを開始
Amazon MSK APIがAWS PrivateLinkをサポートし、VPC内からパブリックインターネットを経由せずにAPIを呼び出せるようになりました。セキュリティ要件の厳しいアプリケーションでも、プライベートエンドポイントを通じてMSK固有のアクションを実行できます。
最後に
特に注目すべきは、Amazon Redshiftの大幅な機能拡張です。Zero-ETL統合の一般提供開始や、Aurora PostgreSQLやDynamoDBとの統合、クエリパフォーマンスモニタリングの改善など、多岐にわたる更新が行われました。また、Amazon QuickSightでは共有フォルダのエクスポートとインポート機能の追加や、EventBridgeとの統合拡大など、ユーザビリティの向上が図られています。その他、Amazon DataZoneやAmazon Managed Service for Apache Flinkなど、様々なサービスでも機能追加や改善が行われました。
11月は、AWSが主催する世界最大規模のクラウドコンピューティングカンファレンスであるAWS re:Invent 2024の前の月で、事前に多くのAWSの新サービスや機能の発表される月でもあります。来月も楽しみにしてください。
P.S. 今月も、Amazon Athenaのアップデートがありませんでしたので、re:Inventで新サービスや機能が大量放出されるのを楽しみにしています。
![[レポート] 目的に応じたマネージドデータベースの使い方が学べるワークショップ「Build a web-scale application with purpose-built databases & analytics [REPEAT]」 #DAT403-R1 #AWSreInvent](https://images.ctfassets.net/ct0aopd36mqt/3IQLlbdUkRvu7Q2LupRW2o/edff8982184ea7cc2d5efa2ddd2915f5/reinvent-2024-sessionreport-jp.jpg)
