CloudWatch Logs からインサイトを得る手法を網羅的に学べるセッションに参加しました。最新機能の紹介もあり #AWSreInvent #COP406
2024.12.06AWS re:Invent 2024 に現地ラスベガスから参加しています。
今回 COP406 | Byte to insight: Maximize value from your logs with Amazon CloudWatch というセッションに参加してきました。
CloudWatch Logs の各種機能を網羅的に学べる良いセッションでした。 最近発表された新機能についてもデモなどを通して紹介されていました。
以降にてセッションのサマリーを紹介していきます。
セッション概要
- タイトル: COP406 | Byte to insight: Maximize value from your logs with Amazon CloudWatch
- スピーカー:
- Andres Silva, Principal Specialist Solutions Architect, Amazon
- Nikhil Kapoor, Principal Product Manager - Technical, AWS
- セッション概要: 以下引用
Businesses often struggle with too many logs and not enough actionable insights. In this session, explore the full log data lifecycle, from ingestion to insights, and uncover concrete strategies to extract maximum value using the latest Amazon CloudWatch Logs capabilities. Learn practical techniques to optimize log data for cost-effectiveness and business impact. This isn't the CloudWatch of yesteryear—it's a transformed, customer-centric observability platform that can revolutionize how you manage and use log data.
(機械翻訳) 企業はしばしば、多すぎるログと実用的な洞察の不足に悩まされています。 このセッションでは、取り込みから洞察に至るまで、ログデータのライフサイクル全体を探求し、Amazon CloudWatch Logsの最新機能を使用して最大の価値を引き出す具体的な戦略を明らかにします。 費用対効果とビジネスインパクトのためにログデータを最適化する実践的なテクニックを学びます。 これは、かつてのCloudWatchではありません。これは、ログデータの管理および使用方法に革命をもたらす、変革された顧客中心の観測可能性プラットフォームです。
CloudWatch は "たくさん" 進化している
CloudWatch は AWSネイティブなオブザーバビリティサービスです。 2014年に CloudWatch Logs が提供されてからも進化し続けています。
2023年, 2024年 も以下のとおり、 "たくさん" 進化しています。
- 2023
- Live Tail for Logs
- Data protection: Custom identifiers + Account wide
- Low-cost Log Ingest: Infrequent access log class
- Log Pattern analysis and Anomaly Detection
- Natural language query generation
- 2024
- Live Tail: Streaming CLI + Lambda native
- New log source: Bedrock, CloudFront…
- Enhanced log group selection
- [new] Field indexes
- [new] Log transformations
- [new] OpenSearch analytics on CloudWatch Logs
- [new] Telemetry correlation with resource context
- [new] Database Insights
- [new] Transaction search & analytics
- [new] Amazon Q Developer operatinal investigation
「価値を最大化する」とは
タイトルにある「価値を最大化する(Maximiize Value)」は 以下要素によって決まります。
- Insights : 可視性を向上させる
- Bytes ingested, stored : コストを削減する
そもそもインサイト(Insights)とは？
そもそもインサイトとは何でしょうか？
インサイトは 「 [人や物事(Context)] について正確で深い [直感的な理解(What)] を得る能力」のことを言います。
インサイトのタイプを意識する
Context と What が 「分かるか(Known)/分からないか(Unknown)」で インサイトの性質が変わってきます。
[Known:Known の例]
| 問い | Context | What |
|---|---|---|
| App A の「Blockされた」トランザクションの割合は？ | App A | Blockされた |
| トランザクションに100ミリ秒以上かかる顧客トップ10は？ | 100ミリ秒以上かかる | 顧客トップ10 |
[Known:Unknown の例]
| 問い | Context | What |
|---|---|---|
| このリクエストIDでは何が起きたのか？ | このリクエストID | Unknown |
| 数分前にLambda-Aを変更したが、ログに何か新しい／異なることがありますか？ | 数分前のLambda-A変更 | Unknown |
| 誰かがこのインスタンスを削除したようだが、いつ、誰がやりましたか？ | Unknown |
このインスタンスを削除した |
インサイトのタイプごとに重視するポイントがある
Known:Known では可視化したいものはハッキリしています。 そのため コストを削減する ことを最大化していきましょう。
一方で Known:Unknown は まず理解することが大事です。 可視性を向上させる ことを最大化しましょう。
Known:Known で役立つツールたちの紹介
CloudWatch Logs で Known:Known なインサイトを得るために 役立つツールを以下に紹介します。
| ツール | できること |
|---|---|
| Metics Filter | ログデータから特定パターンを検索、フィルタしてメトリクス化する |
| Embedded Metrics Format | 構造化ログデータに埋め込まれた特定値を抽出してメトリクス化する |
| Contributor Insights | ログデータから特定条件にマッチする TopN コントリビューターを表示する |
| Log transformation | ログを変換して正規化する |
| Logs Insights | ログデータを検索、分析する |
Log transformation は最近発表された新しい機能です。
Known:Unknown で役立つツールたち
CloudWatch Logs で Known:Unknown なインサイトを得るために 役立つツールを以下に紹介します。
| ツール | できること |
|---|---|
| Field indexes | 特定のログフィールドを効率的にスキャンする |
| Compare(diff) | 2つの期間のログを比較する |
| Live Tail | ログイベントをストリーミング表示する |
| Log patterns | ログデータのパターンを検出する |
| Anomaly detection | ログデータの異常なパターンを検出する |
Field indexes は最近発表された新しい機能です。
デモ
いくつかのツールについて、デモも実施されていました。
Contributor Insights のデモ
OpenSearch ServiceとのZero-ETL統合のデモ
※OpenSearch ServiceとのZero-ETL統合 は re:Invent 中に発表された機能です。 詳細は以下ブログを参照ください。
おわりに
CloudWatch Logs の各種機能について幅広く学べるセッションでした。
いろんな Insights 機能がある中で、 「そもそも Insights (インサイト)って何だっけ」 といった話から始められていた点が良かったです。 様々な機能を体系的に理解できました。
以上、ラスベガスからお届けしました。
