まるクラ勉強会で「AWS ParallelClusterとTrainiumを使って大規模言語モデルをトレーニングする入門」というタイトルで登壇しました

こんちには。

データ事業本部 インテグレーション部 機械学習チームの中村( @nokomoro3 )です。

「まるクラ勉強会 ONLINE #03 - AWS・Google Cloudを活用した機械学習 -」で登壇しましたのでその資料やリンクを共有いたします。

ご参加いただいた皆様、ありがとうございました！

登壇資料

スライドの中で紹介したリンク

以下が登壇にあたって、読んだ文献として紹介したリンクです。

基本的な使い方は？

• GUIでクラスタを管理するには
  • https://docs.aws.amazon.com/parallelcluster/latest/ug/install-pcui-v3.html
• クラスタ設定の詳細
  • Cluster configuration file - AWS ParallelCluster
• slurmコマンドの詳細
  • 4.2.ジョブの実行方法（SLURMコマンド編） – FOCUSスパコン利用案内
  • Slurm Workload Manager - Man Pages

どうやって大規模言語モデル向けに使う？

• Neuronのセットアップ方法
  • https://awsdocs-neuron.readthedocs-hosted.com/en/latest/general/setup/neuron-setup/pytorch/neuronx/ubuntu/torch-neuronx-ubuntu20.html
• TGI: Text Generation Inferenceとは
  • https://huggingface.co/docs/text-generation-inference/index
  • https://huggingface.co/docs/optimum-neuron/guides/neuronx_tgi

何から始めたら良い？

• 公式ワークショップ
  • https://www.hpcworkshops.com/
  • https://dev.classmethod.jp/articles/parallel-cluster-workshop/
• Neuron SDKを使った学習・推論も試してみよう
  • ParallelClusterでTrainiumを使ってTanuki-8Bをベースにモデル学習してみた
  • TrainiumでLLMを学習してInferentiaにデプロイする
• NVIDIAのGPU含む分散学習まとめレポジトリ
  • https://github.com/aws-samples/awsome-distributed-training

さいごに

本登壇が皆様のご参考になれば幸いです。