Sumo Logic – Scheduled View の作成方法と注意点について

記事の内容が古い場合は、公式サイトもご確認ください。

Sumo Logic については以下をご参照ください。

• Sumo Logic 公式サイト
• Classmethod - クラウドネイティブのログ管理分析SaaS「Sumo Logic」

最初に

Sumo Logic では、メッセージデータ（ログ・メトリクス）を受信したときに以下の順でデータを評価します。

※ 今回はスケジュールドビュー（Scheduled View）をご紹介します！

Scheduled View について

Scheduled View は、データがインデックスされる前に事前にログデータを集計し、特定の期間内のデータを計算して出力します。

よくあるユースケースとして、トラフィックパターンや、ユーザアクティビティ、FW などの脅威傾向分析などで、高速にインサイト得るために使用されます。

そのため、中長期的なデータの傾向分析を行うことが目的になります。

Scheduled View 作成時の注意点

Scheduled View の作成には、以下の制限や、作成のベストプラクティスがあります。

Scheduled View 作成に必要なロール

• Manage Scheduled Views

Scheduled View の表示、作成、編集、削除ができます。

アカウントの管理者と、Manage Scheduled Views 権限が付与されるアカウントは、Scheduled View の設定が可能です。
また、権限がない他のすべてのユーザは、Scheduled View に対して検索は可能です。検索させたくない場合は、ログデータアクセスの制御用に検索フィルタのロールを使用して制御可能です。

- ヒント -
① Administration > ② Users and Roles> ③ Roles > ④ + Add Role
検索フィルタでは、ロールに応じてアクセスが許可されているデータのみを表示させることが可能です。以下の場合は、labs で始まる _sourceCategory のデータにのみアクセス可能です。


- 参考元 -
Create and Manage Roles
Understanding search filters

Scheduled View の制限

• アカウントごとに 500 件まで作成可能
• 作成した Scheduled View を編集 / 更新できない

編集の場合、データの保持期間、データ転送のみ、変更可能です。
また、既定の保持期間を短縮する場合は、7 日後に短縮するか、即時短縮するか選択可能です。

• 作成した Scheduled View は、無効にした後、有効にできません。

スケジュールドビューは、一時停止 / 再開が選択できるようになっております。
また、使用しないと判断したスケジュールドビューは、無効化が可能です。無効化した場合、再開させることが出来ません。

• Scheduled View の検索クエリは、1分ごとに1回実行されます。
• 生のログメッセージが含まれている場合、取り込み量としてカウントされます

生データを含んでいる場合、取集するメッセージデータを取り込み量として、カウントされます。

Scheduled View のベストプラクティス

• 適切な保持期間を設けて、傾向分析に使用する

Scheduled View は、一度に大量のログデータを分析するのではなく、決められた保持期間のデータに対してクエリ検索するため、アドホックな検索が可能です。

• スケジュールビューと、パーティションを併用すると最速でのクエリ検索が可能です。
• 変更される可能性のあるクエリ検索式は作成しない
• クエリ検索式には、柔軟性を持たせて定義する

メタデータの変更で、クエリが崩れないようにしてください。
例）
_sourceCategory=*/apache/*

Scheduled View の作成方法

① Manage Data > ② Logs > ③ Scheduled Views > ④ + Add Scheduled View

すると、以下の Scheduled View 作成メニューが右側に表示されます。

① Scheduled View name

作成する Scheduled View の名前を入力します。
英数字（大・小文字）と、数字、アンダースコア（ _ ）が使用可能です。

② Query

Parse Operators と、Search Operators を使用して、インデックスされるデータへのクエリ文を書きます。
オペレータの詳細は、Scheduled Views Best Practices and Examplesをご確認ください。

③ Search Mode

メッセージデータの解析方法を選択します。

• Auto Paarse Mode

SumoLoigc がメッセージデータを自動解析して、パースしてくれます。この機能を使う場合に選択するモードです。

• Manual Mode

Parse 構文や、正規表現を組み合わせて、手動で書いてパースさせたいときに選択するモードです。

④ Start Date

インデックスデータの開始日を指定します。 選択した日付以降のデータは、Scheduled View のデータとしてインデックス化されます。

⑤ Retention Period（in days）

1 ~ 5000 日以内で、インデックスするデータの保持期間を設定します。

⑥ Data Forwarding

Data Forwarding のチェックボックスを有効にすると、以下の設定画面が表示されます。

6-1. Forwarding Destination
転送先として、S3 への「既存の転送先」か、「新規の転送先を作成する」か選択します。 新規の転送先を選択した場合、同じ画面でバケット名や、アクセス方式、ARN などの設定が必要になります。
6-2. Amazon S3 Destination
既存の転送先を選択した場合のみ表示されます。
設定済みの転送先が列挙されますので、選択してください。

6-3. File Format
S3 バケット内のディレクトリへのパスを設定します。
パスの書式については、こちら Forward data to S3 をご確認ください。

まとめ

スケジュールドビューと、パーティションは、どちらもクエリ検索の高速化を叶えるよく似た機能になります。
しかし、目的が異なります。パーティションは、現在以降のメッセージデータについて区画化を行い、インデックス化します。対して、スケジュールドビューは、過去のデータも含めてインデックス化して、中長期的なクエリ検索に使用できます。
データを分析して、パターンや、傾向を知りたいケースに向いていると言えます。

参考元

• Scheduled Views
• Scheduled Views Best Practices and Examples
• Add a Scheduled View