![[アップデート] Amazon CloudWatch Logs と Amazon OpenSearch Service 間で Zero-ETL 統合が提供されて Direct Query を実行できるようになりました #AWSreInvent](https://images.ctfassets.net/ct0aopd36mqt/3nibOl2sZ0LKJueI0FHFi5/14de7bd294f7916a28b789105c60d450/reinvent-2024-newservice-jp.jpg)
[アップデート] Amazon CloudWatch Logs と Amazon OpenSearch Service 間で Zero-ETL 統合が提供されて Direct Query を実行できるようになりました #AWSreInvent
2024.12.02中川です。
Amazon CloudWatch と Amazon OpenSearch Service 間で Zero-ETL 統合が発表されました。
Zero-ETL 統合では OpenSearch からサービスのデータに直接クエリを実行できる Direct Query という機能が提供されており、これまでは S3 のみ利用可能でした。
アップデートにより OpenSearch 上から CloudWatch Logs のログ対して Direct Query を実行できるようになりました。
また、VPC Flow、CloudTrail、AWS WAF については、統合されたダッシュボードも提供され、すぐに必要な分析を開始できるようになっています。
本記事では CloudWatch との Zero-ETL 統合について確認したことを紹介します。
制限事項
Zero-ETL 統合の制限事項は以下の通りです。太字が CloudWatch との統合で追加された制限になります。
注意点として、CloudWatch Logs 統合はマネージドクラスターの OpenSearch ドメインでは使用できず、OpenSearch Serverless でのみサポートされています。
- サポートされるデータ型は Parquet、CSV、JSON
- AWS CloudFormation テンプレートはまだサポートされていません
- OpenSearch Serverless コレクションのみサポートされています。
- OpenSearch Serverless コレクションには、100MiB のネットワークペイロード制限があります
直接クエリがサポートされた以下のリージョンで利用可能です。
2024 年 12 月 1 日時点では、一部のリージョンで利用できないことも確認されたので注意ください。
- ap-south-1 (Mumbai)
- ap-southeast-1 (Singapore)
- ap-southeast-2 (Sydney)
- ap-northeast-1 (Tokyo)
- ca-central-1 (Central)
- eu-central-1 (Frankfurt)
- eu-west-1 (Ireland)
- us-east-1 (N. Virginia)
- us-east-2 (Ohio)
- us-west-2 (Oregon)
- eu-west-3 (Paris)
- eu-west-2 (London)
- sa-east-1 (Sao Paulo)
料金
2025 年 5 月 31 日まで 1 ヶ月間だけ以下の無料トライアル枠がついています。
- Serverless indexing：750 OCU 時間/月まで
- Serverless searching：750 OCU 時間/月まで
- Direct query：150 OCU 時間/月まで
- Serverless storage：$30/月まで
無料枠以外では OCU あたりの時間課金が発生します。
東京リージョンの場合、1 OCU あたり $0.334/月が発生します。
参考：Amazon OpenSearch Service Pricing
やってみた
CloudWatch Logs との Zero-ETL 統合の設定をして、CloudTrail のログを可視化しみます。
マネージメントコンソールの左ペインから Connected data sources をクリックします。
データソースに CloudWatch Logs を選択します。
データソースを設定していきます。まず、データソース名を入力します。
作成する IAM ロールと許可するロググループを指定します。ここではすべてのロググループに対して許可しています。
OpenSearch Serverless コレクションと関連付けをします。ここでは Serverless コレクションの作成も合わせて実行しています。
設定内容を確認して、[Connect]をクリックします。
データソースとコレクションの作成が完了したら、[Create Dashboard]をクリックします。
ダッシュボードタイプに CloudTrail を選択し、Cloud Trail のロググループを選択します。WorkSpace は新しく作成します。
作成できたダッシュボード名をクリックします。
ダッシュボードが表示されました。期間, リージョン, イベントカテゴリー, サービス単位で絞ることが可能です。
イベントのアカウントやリージョン、Top 10 のイベントやソース IP を確認することができます。
すぐに自動化されたダッシュボードを利用できることを確認できました。
さいごに
OpenSearch Service と CloudWatch Logs の Zero-ETL 統合が発表されました。
これまで CloudWatch Logs に出力されるログを OpenSearch 上で検索するには、サブスクリプションフィルターを使って、OpenSearch にデータを送信しなくてはいけず、トラブル調査時など一時的に利用したいときにはコストも手間もかかっていました。
アップデートにより、Amazon CloudWatch Logs に対して OpenSearch にデータを取り込まず直接クエリを実行でき、すぐに自動生成されたダッシュボードを活用でき、トラブルシュートを効率的になると期待できます。
また、本アップデートと同日に Security Lake との Zero-ETL 統合についても発表されておりました。Security Lake との Zero-ETL 統合については以下の記事を参照ください。
![[アップデート] Amazon OpenSearch Ingestion が Amazon Kinesis Data Streams からのデータの取り込みをサポートしました](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-b383cfad7452c18278d4772c71cae640/70681da1d5cfd4b8d3a7edcc29830075/amazon-opensearch-service)
