AWS ParallelCluster Manager にクラスターのコンフィグファイルをアップロードして ParallelCluster をデプロイしてみた

以前 ParallelCluster Manager をデプロイしたついでに動作確認でウィザードから新規クラスターを作成するをやってみました。自前で作成したクラスターコンフィグのファイルをアップロードして実行できる機能もあり、今回はこちらの機能を試してみました。

クラスター作成

Create Clsuterからクラスター作成できます。

Upload a fileを選択するとローカルのファイルをアップロードできます。

クラスターのコンフィグファイルをアップロードしました。コンフィグの内容が表示され、Web UI からざっと内容を確認できますね。

Dry Runを実行してバリデーションチェックと、コンフィグに誤りがないか確認しておきます。 Request would have succeeded, but DryRun flag is set.と表示され、Dry Run した結果に問題はありませんでしたが、見慣れないValidationWarnings:の黄色のメッセージが表示されました。

普段見たことないメッセージだったので比較のため CLI のpclusterコマンドで Dry Run を実行してみました。Dry Run 成功のメッセージは同じでしたが、ValidatiaonWarnings:のメッセージは出力されませでした。どうりで見たことがないわけです。

{
  "message": "Request would have succeeded, but DryRun flag is set."
}

気になる以下のメッセージについては、コンピュートノード起動時に初期設定用のスクリプトをPostainstall 処理用のスクリプトを格納している S3 バケットに対してのものです。推測になりますが ParallelCluster Manager の規定の権限だと特定の S3 バケットを参照できる権限がなくてチェックできないのではないかと思われます。

UrlValidator: Unexpected error when getting S3 bucket 'hpc-dev-postinstall-files': 'Forbidden'

Createをクリックするとクラスター作成処理に遷移しました。上部に同じメッセージが警告マーク付きで表示されましたが処理は進んでいるようです。

画面下部のStack Eventタブから CloudFormation のスタックの状況を確認できることに気づきました。マネージメントコンソールを開かなくても ParallelCluster Manager から進捗状況や、仮にクラスター作成に失敗したときも確認できて便利ですね。

10分ほど経過するとステータスがCREATE COMPLETEに変化しクラスターの作成に成功しました。

ヘッドノードの起動も成功しています。

ParallelCluster Manager にクラスターのコンフィグファイルをアップロードしてクラスターの作成に成功しました。今回わかったことは CLI からクラスターを作成するのと比べると ParalelCluster Manager 独自のバリデーション機能があるようでした。

おわりに

ParallelCluster Manager にコンフィグをアップロードしてクラスターを作成できるみたいと一ヶ月の間に何回か説明することがありました。確証が持てなかったので一度やってたのが今回の検証です。CLI と同じことをできるので良さそうですね。懸念点は ParallelCluster のバージョンを指定してクラスターを作成したいときは、ParallelCluster Manager のバージョン依存になってしまうので取り回しがしづらいかもしれませんね。

ParallelCluster Manager の新バージョンがリリースされたタイミングで Manager 側のアップデートの検証をしたいと思います。