Datadog Archive Search を使ってアーカイブログをリアルタイム検索してみた
こんにちは。オペレーション部のしいなです。
はじめに
Datadog で数ヶ月前のアプリケーションログを確認したい、インシデント調査で当時のログ調査が必要など、保持期間を超えた過去のログを調査したいことはよくありますよね。
ログの保持期間を超えた過去のログは Datadog コンソールから見れないため、アーカイブから Rehydration を行う必要がありました。
しかしながら、バックグラウンドとして動作するため完了まで時間がかかるのが難点でした。
Datadog に新しく登場した Archive Search を使うと、Rehydration なしでアーカイブログをリアルタイムに検索できます。
実際に試してみましたので、機能の概要や Rehydration との違いなどをまとめてみました。
Archive Search とは
Archive Search は、S3・Azure Storage・GCS などの外部オブジェクトストレージに保存されたアーカイブログを、Rehydration なしで直接クエリできる機能です。
検索を実行すると、ログがリアルタイムにストリーミングされ、最大 100,000 件が 24 時間無料で一時保存されます。
Rehydration については下記ブログでも紹介されていますのでご参考ください。
Rehydration との違い
| 比較軸 | Archive Search | Rehydration |
|---|---|---|
| 実行方式 | リアルタイム | バックグラウンド |
| 結果の即時性 | 数秒 | 数分〜数時間 |
| 保持期間 | 24 時間（最大 100,000 件） | カスタム設定可能（3〜180 日） |
| コスト | スキャン量のみ課金 | スキャン＋インデックス保持コスト |
| 分析・集計 | 一部可能 | 可能 |
| 向いているケース | スポット調査 | 継続的な分析 |
最大の違いは結果の即時性とコストです。
Archive Search はスキャンした分だけの課金でリアルタイムに結果が得られる一方、分析・集計機能は限定的です。
一方 Rehydration はバックグラウンド処理のため完了まで時間がかかりますが、完了後は Log Explorer でのログ分析・調査が可能になります。
コスト
Archive Search はスキャン量のみの課金です。
US サイトの料金は以下の通りです。
| プラン | 料金 |
|---|---|
| 年間契約 | 月額 $0.05 / GB |
| オンデマンド | 月額 $0.07 / GB |
最新の料金は公式ドキュメントをご参照ください。
使い分け
- 継続的な分析が必要 → Rehydration
- スポット調査で 100,000 件超 or 24 時間以上の保持が必要 → Archive Search（Search & Rehydration モード）
- スポット調査で 24 時間以内に完結 → Archive Search（Search モード）
前提
- 外部アーカイブの設定がされていること
- Datadog がアーカイブから読み取る権限を持っていること[1]
やってみた
Archive Search
Amazon S3 にアーカイブしているログから 2026/1/1〜2/28 のログを Archive Search を利用して検索してみます。
-
Datadog コンソールの Logs > Archive Search を選択します。
-
「New Search」を選択します。
-
以下の条件を設定し、「Search」を選択します。
- Archive：対象のアーカイブ名
- Time Range：検索範囲
- Mode：Search または Search & Rehydration
- 検索が開始され、ログがリアルタイムにストリーミングされ始めます。
- 検索が完了するとログメッセージの確認やフィルタリングが可能となります。
今回は特定のパスへのアクセスに絞り込んでみます。
@http.url_details.path:"/admin.html"
/admin.html へのアクセスに該当するログだけが絞り込めました。
Archive Search から Rehydration
24 時間以内であれば、Archive Search 結果から Rehydration することも可能です。
-
Datadog コンソールの Logs > Archive Search を選択します。
-
対象の Search 結果から「Rehydrate results」を選択します。
-
保持期間を選択し、「Confirm」を選択します。
-
完了すると、上部にメッセージが表示されるので、「View in Explorer」を選択します。
-
Logs Explorer へ遷移します。
フィルタや分析に加え、dashboard、Notebooks への連携など Logs Explorer の機能をすべて利用することができます。
なお、Rehydration したログにはdatadog.indexタグが付与されているようです。
まとめ
Archive Search を使うことで、Rehydration なしでアーカイブログをリアルタイムに検索できました。
スキャン量のみの課金でインデックス作成が不要なため、スポットな調査であれば Rehydration と比べてコストを抑えられます。
保持期間を超えたログのスポット調査であれば、待ち時間なく即座に結果が得られるため、インシデント調査や監査対応に活用できそうです
また、調査後に必要に応じて Rehydration することで Log Explorer での分析も可能となるため、用途に応じて使い分けることをおすすめします。
本記事が参考になれば幸いです。
参考
