[レポート] Byte to insight: Maximize value from your logs with Amazon CloudWatch #AWSreInvent #COP406

SBJソリューション部のserinaです。
AWS re:Invent 2024に参加してきました。

現地では、配信されないセッションタイプを中心に参加してきたのですが、Youtubeに上がっている動画を見ていると興味のあるセッションを見つけたので日本に帰ってきてからYoutubeで視聴しました。

「Byte to insight: Maximize value from your logs with Amazon CloudWatch」のレポートをします。

https://youtu.be/tXCQ0Foa4eo?si=Q0cCPHfQzVn_dK9P

資料はこちらで公開されています。

セッション概要

Businesses often struggle with too many logs and not enough actionable insights. In this session, explore the full log data lifecycle, from ingestion to insights, and uncover concrete strategies to extract maximum value using the latest Amazon CloudWatch Logs capabilities. Learn practical techniques to optimize log data for cost-effectiveness and business impact. This isn't the CloudWatch of yesteryear—it's a transformed, customer-centric observability platform that can revolutionize how you manage and use log data.

セッションタイプ

Breakout session

スピーカー

• Andres Silva
• Nikhil Kapoor

レベル

400 – Expert

内容

CloudWatch overview

最初にCloudWatchの説明がありました。
2014年にローンチされてから10年が経っています。

このセッションのゴールは、CloudWatchを利用する上で、できる限りコストをかけずに価値を最大化する方法を学ぶことです。

Types of insights

洞察には、"既知の既知"（明確な情報）と"既知の未知"（曖昧な情報）の2つに分類されます。

明確な情報はコストを抑えて分析可能ですが、曖昧な情報には迅速で正確な対応が求められます。目的に応じて適切なアプローチを選択する重要性が強調されました。

このあと、2つそれぞれに対してのアプローチ方法について順にデモを混えて説明する形でセッションが進みました。

Known: Known

既知の既知は、すでに対象が明確になっているのでできるだけコストを抑えることが重要になります。

Embedded Metric Format

Embedded Metric Formatを使えば、より便利になります。

ロググループにフィルターを設定する必要がなく、どのAWSアカウントでも動作します。

Contributor Insights

Contributor Insightsは、ルールを作成してログデータを分析できます。
ダッシュボードに追加したり、アラームを設定できます。

NEW: Zero-ETL with CloudWatch Logs

最近リリースされたZero-ETL機能を使用すれば、CloudWatch LogsとOpenSearch Serviceをシームレスに統合できます。

これにより、ログデータの転送や変換を省略し、効率的なデータ分析が可能です。

NEW: Enhanced log analytics

新しいログ分析機能では、検索クエリが50件から10,000件に拡大され、インデックスの作成も可能になりました。また、PPLやSQLが利用できるようになり、OpenSearchのダッシュボード作成が容易になります。

このあと、メトリクスフィルターの作成デモやContributor Insightsの作成デモがありました。

Known: Unknown

既知の未知は、早く解決できるならばコストを気にしてはいけないし、コストをかける価値があります。

Live-Tail

2023年に発表されたライブテール機能を活用することで、Lambdaコンソールでリアルタイムのログ確認が可能になりました。

Anomaly detection

Anomaly detectionは、パターンを設定してそこから外れていたら異常検知できる機能です。
自動検出を　ONにすれば使用することができます。

Field indexes

Field indexesは、ログデータ内の特定のフィールドにインデックスを作成する機能です。
クエリパフォーマンスを向上させ、ストレージコストを最適化できます。

SQLにインデックスを貼って、最適化する作業と似ていると感じました。

デモでは、filterからfilterIndexに変更することで、検索時間が短縮される様子が確認できました。

まとめ

最後に、今日学習したことがまとまったスライドと共にセッションが締めくくられました。

料金については、Amazon CloudWatch Pricingのページに記載があります。

最後に

開催期間中に気になっているセッションを見つけたり参加するのは難しいので、帰ってきてから大量に上がっているYoutube動画から見てみるのも良いなと思いました。

CloudWatchはあまり理解せずに触っていた部分もあるので今回学んだ内容を業務に活かしていきたいです！