SSM Incident Managerにエスカレーションプランを設定してみた

2021.09.30

こんにちは、コンサル部@大阪オフィスのTodaです。

今回、SSM Incident Managerをご利用頂いているお客様からインシデントが発生時の通知をエスカレーションしたいと要望を頂きましたのでどのように設定するかを確認してみました。

AWS Systems Manager Incident Managerとは?

CloudWatch Alarm や EventBridge Events から検出されたな異常状態やイベントをインシデントとして管理することができます。
インシデントの管理はAWSマネージメントコンソール上で確認する事ができ、対応状態を管理できます。 インシデント発生時の連絡方法は、メール・SMS・電話通知が可能です。

エスカレーションプランとは?

インシデントが発生した際に一次対応の担当者に通知をおこない、承認が下りない場合、二次対応、三次対応と通知をおこなう仕組みになります。
電話通知をご利用の場合、電話が取れない場合もエスカレーションされます。

エスカレーションイメージ

前提条件

  • 東京リージョンにIncident Managerが導入済みの状態からおこないます。
  • 対応プランにてエスカレーションを利用せず、連絡先に通知されている状態から設定します。

やりたいこと

  • インシデント発生時の連絡をエスカレーションにて通知する。

エスカレーションのルール

一次対応・二次対応の2つのステージに分けて電話通知をおこないます。
一次対応に通知後、10分間承認がない場合、二次対応に通知をおこないます。

試してみる

Incident Managerに必要な連絡先追加

AWSコンソールにログインをおこない、[Incident Manager] > [連絡先]をクリックします。
[連絡先の作成]をクリックして必要な連絡先を登録します。
連絡先の登録は担当者単位、対応グループ単位などがあると考えます。
今回は対応グループ単位で設定をしています。

・一次対応
連絡先名:group-call1
連絡先チャンネル:音声 +81XXXXXXXXXX
         メール XXXXXX@example.com

・二次対応
連絡先名:group-call2
連絡先チャンネル:音声 +81XXXXXXXXXX

Incident Managerに必要な連絡先追加

連絡先の設定

連絡先は、一次対応・二次対応の2点を登録します。
連絡チャンネルは[連絡チャンネルの追加]ボタンを押すことで複数登録する事ができます。
エンゲージメントプランは始めにメール通知をおこない、時間差で音声通知をするなど設定が可能です。
今回はメール通知と音声通知を同時にするため両方のエンゲージメント時間を0秒にして設定します。

連絡先の設定

入力後は画面下の[作成]をクリックします。

連絡先チャネルのアクティベーション

登録されてた連絡先が正しいか6桁のコード通知(番号)にて確認がおこなわれます。
「音声」の場合はAWSから電子音声により通知されます。
「SMS・メール」の場合はメッセージにて通知がおこなわれます。

通知されたコードはアクティベーション画面に入力をおこない、[終了]をクリックします。

連絡先チャネルのアクティベーション

連絡先の設定は以上になります。

エスカレーションプランの登録

Incident Manager画面左メニューの[エスカレーションプラン]をクリックします。
[エスカレーションプランの作成]をクリックして登録します。

エスカレーションプランの登録

エスカレーションプランの設定

今回は2つのステージ(一次対応・二次対応)で対応するためステージを1つ追加して設定します。
一次対応のgroup-call1と二次対応のgroup-call2を設定おこない、次のステージが開始されるまでの時間に10分をしています。

[確認により、プランの進行が停止します]のチェックを入れることで承認があった場合に通知を止めることが出来ます。

エスカレーションプランの設定

入力後は画面下の[エスカレーションプランの作成]をクリックします。

エスカレーションプランのテスト

作成したエスカレーションプランが正しく動いているか確認をおこないます。
エスカレーションプランの詳細を開いて画面右上の[テスト]をクリックすることで動作確認が可能です。

エスカレーションプランのテスト

対応プランへの設定

エスカレーションプランのテストが問題なければ対応プランに設定をおこないます。
Incident Manager画面左メニューの[対応プラン]をクリックします。
[設定したいプラン]のラジオボタンにチェックを入れてを[編集]をクリックします。

対応プランへの設定

エンゲージメントに設定されている連絡先を削除して、エスカレーションプランを追加します。

対応プランへの設定2

設定後は画面下の[対応プランの更新]をクリックします。
上記で設定は完了になります。

エスカレーション時の承認方法について

通知が合った場合の承認方法は、通知の種類により変わります。

・電話通知の場合
自動音声の中で電話ダイヤルボタン「1」を押すことで承認が完了します。
承認をすると自動音声も停止します。

・メール、SMSの場合
通知される6桁の番号をIncident Managerのインシデント詳細にあるエンゲージメントにて入力する必要があります。 電話と比べると操作が多くなります。

エスカレーション時の承認方法(メール・SMS)

エスカレーション時の承認の注意点

電話による承認操作は検証をしたところ1分ほど反映まで時間がかかるケースがございます。
次のエスカレーションまで時間が短い場合、承認をしても次に通知される場合がございます。

さいごに

今回はSSM Incident Managerのエスカレーションを試してみました。
複数人にてインシデント管理をおこなう場合にご活用頂けると考えます。
少しでもお客様の参考になればと考えております。