【AIF試験勉強】Amazon SageMakerについてまとめてみた
クラウド事業本部運用イノベーション部の いそま です。
AIF(AWS Certified AI Practitioner – Foundational)試験に向けて勉強を進める中で、
「Amazon SageMaker」及び「Amazon SageMaker 〇〇」が沢山出てきており、絶賛混乱中です。
今回のブログでは、頭の整理がてらAmazon SageMakerについてまとめたいと思います。
ちなみにAmazon SageMakerは業務でもプライベートでも全く関わりをもったことがなく、「機械学習系のリソース」という知識しかありませんので、本ブログは初学者向けの内容となっております。
Amazon SageMakerとは
Amazon SageMakerを一言でまとめると
データの準備から訓練、デプロイ、監視まで、機械学習プロジェクトの全工程をインフラ管理不要で実行できるフルマネージドプラットフォーム
です。
通常、機械学習プロジェクトを行うには、コンピューターの設定（インフラストラクチャの準備）や多くの複雑な手順が必要ですが、SageMakerを使うと、それらの手間をAWSが引き受けてくれるため、利用者はモデルの開発・運用に集中できます。
自分で書いておきながら何ですが、あまりピンと来ていないので「電車」に例えてみました。
▼ ユーザーが実施すること
| SageMaker | 電車 |
|---|---|
| データの準備 | 必要な荷物をまとめる＆目的地の最寄駅を確認する |
| モデルの訓練 | 電車に乗って目的地まで移動 |
| デプロイ | 目的地に到着 |
| 監視 | 遅延情報などをチェック |
インフラ管理（線路・車両・信号システム）は全て鉄道会社が管理してくれるので、ユーザーは「電車で目的地に向かう」という工程のみに集中できますよね。
Amazon SageMakerも同様に、機械学習のインフラ管理をAWSが実施してくれるので、私たちはデータの準備〜監視の工程に注力することができます。
Amazon SageMaker 主要サービスまとめ
Amazon SageMakerには、「Amazon SageMaker 〇〇」という複数のサービスがあります。
それぞれのサービスを「開発環境」＋前述した「データの準備」〜「監視」の5つのカテゴリーに分けて整理していきます。
- 開発準備
- データの準備
- モデルの訓練
- デプロイ
- 監視
0. 開発準備
ユーザーが「データの準備」〜「監視」を実施するための環境を作成するサービスです。
このサービスは全工程の基盤となるため、常に使用します。
🚃 電車での例え：駅の総合案内所・窓口
| サービス名 | 概要と主な機能 |
|---|---|
| SageMaker Studio | SageMakerの核となる統合開発環境（IDE）であり、推奨される最新のウェブベース。開発、訓練、デプロイをGUIから実行でき、データサイエンティスト向けに設計されています。内部でJupyterLabやCode Editor (Code-OSSベース) をサポートします。 |
| SageMaker Studio Classic | Studioの旧バージョンにあたる環境です。構築、訓練、デバッグ、デプロイ、監視を実行できます。現在はSageMaker Studio内のIDEとしても存在し、レガシーなワークフロー実行を支援。 |
| SageMaker Notebook Instances | Jupyter Notebookアプリケーションを実行するコンピューティングインスタンス上で、データ準備、訓練、デプロイを実行できる。 |
| SageMaker Canvas | プログラミング不要で機械学習モデルの構築・予測を実現する。ビジネスユーザーやビジネスアナリストがコーディングスキルなしで利用できる。 |
| RStudio on SageMaker AI | R言語専用のIDEであり、コンソール、構文ハイライトエディタ、デバッグツールなどを提供する。 |
1.データの準備
MLモデルの訓練に必要なデータの収集、クレンジング、ラベリング、特徴量の一元管理を支援します。
🚃 電車での例え：必要な荷物をまとめる＆目的地の最寄駅を確認する
| サービス名 | 概要と主な機能 |
|---|---|
| SageMaker Ground Truth | 教師あり学習のためのデータラベリングサービスを提供する。Amazon Mechanical Turkや自社作業者を利用できるほか、自動ラベリング（Active Learning）機能も搭載されている。 |
| SageMaker Data Wrangler | GUIベースでデータの準備、クレンジング、変換を実行できるサービス。SQLを使わずに集計、結合、欠損値処理が可能で、前処理結果を直接訓練ジョブへ接続できる。 |
| SageMaker Processing | スケーラブルなバッチデータ処理（前処理や後処理）を実行する。S3からのデータの読み込み・出力が可能で、sklearnや独自スクリプトを使ったデータクリーニングに対応。 |
| SageMaker Feature Store | 機械学習モデルで使用する特徴量の保存と共有を行うリポジトリ。オンラインストア（低レイテンシ推論用）とオフラインストア（訓練用）の両方を提供し、MLOpsにおける再現性や一貫性を高める。 |
2.モデルの訓練
モデルの訓練プロセスを効率化し、専門的な知識なしにモデルを構築したり、訓練パフォーマンスを向上させたりする機能群です。
🚃 電車での例え：電車に乗って目的地まで移動
| サービス名 | 概要と主な機能 |
|---|---|
| SageMaker Training Jobs | モデルの訓練を実行する基本機能。スポットインスタンスやマネージドスポットトレーニングでコスト削減が可能で、分散訓練にも対応している。 |
| SageMaker Autopilot | 完全自動でのモデル構築（AutoML）を実現。訓練パイプラインを自動生成し、複数のモデル候補を試行して最適なモデルを選択する。 |
| SageMaker Automatic Model Tuning | ハイパーパラメータの自動最適化を実行する。ベイズ最適化により、最適なパラメータの組み合わせを効率的に探索。 |
| SageMaker Debugger | 訓練中のモデルにおける問題（過学習、勾配消失など）をリアルタイムで監視し、自動ルールベースで異常を検出する。 |
| SageMaker Experiments | MLの実験管理ツールとして、ハイパーパラメータの変更やデータバージョンに対する結果を追跡。モデルのバージョン管理を体系化する。 |
| SageMaker Training Compiler | ディープラーニングモデルの訓練を自動的に最適化し高速化するコンパイラ。GPUリソースの効率的な活用を促進し、学習時間とコストの削減を実現する。 |
| SageMaker HyperPod | 大規模言語モデル（LLMs）、拡散モデル、基盤モデル（FMs）などのMLワークロードを実行するために、回復力のあるクラスター（Resilient Clusters）をプロビジョニングできる。 |
3.デプロイ
モデルを本番環境にデプロイし、リアルタイムまたはバッチ推論を実行するための機能を提供します。
🚃 電車での例え：目的地に到着
| サービス名 | 概要と主な機能 |
|---|---|
| SageMaker Endpoints | 訓練済みモデルをリアルタイム推論エンドポイントとしてデプロイ。Auto Scaling、マルチモデルエンドポイント、A/Bテストに対応。 |
| SageMaker Batch Transform | 大量のデータに対してバッチ推論を実行。エンドポイントを常時稼働させる必要がなく、コスト効率が良い。 |
| SageMaker Inference Recommender | モデルを本番環境で推論実行する際に、最適なインスタンスタイプや設定を自動で推奨。デプロイ時のコストとパフォーマンスのトレードオフ分析を支援する。 |
| SageMaker Model Registry | モデルのバージョン管理と、承認・デプロイステータスの記録を行い、MLOpsにおいて、モデルの「ステージ（開発→本番）」管理に重要な役割を担う。 |
| SageMaker Neo | 訓練済みモデルを最適化コンパイルし、ARM、Intel、NVIDIAなど多様なエッジデバイスでの高速動作を実現する。 |
| SageMaker JumpStart | 事前訓練済みモデルやサンプルノートブックを活用し、迅速にMLを開始できる。BERTなどの一般的なモデルをGUIから即座に利用可能。 |
4.監視
デプロイ済みモデルのパフォーマンス、公平性、ドリフトを継続的に監視します。
🚃 電車での例え：遅延情報などをチェック
| サービス名 | 概要と主な機能 |
|---|---|
| SageMaker Model Monitor | デプロイ済みモデルのドリフト（性能劣化）を監視するサービス。入力データの分布変化や予測結果の変化を監視し、リアルタイムアラート機能も搭載されている。 |
| SageMaker Clarify | デプロイ前後のモデルのバイアス検出と説明可能性（Explainability）を提供する。データとモデルの公平性検証に使用される。 |
その他
- 全工程を自動化
🚃 電車での例え：運行ダイヤ（全工程を自動スケジュール化）
| サービス名 | 概要と主な機能 |
|---|---|
| SageMaker Pipelines | MLワークフローの構築・管理を行うMLOpsパイプライン機能。CI/CDを活用したML開発プロセスに対応し、処理単位（ステップ）の視覚的な接続が可能。 |
- 特殊用途
| サービス名 | 概要と主な機能 |
|---|---|
| SageMaker geospatial | 地理空間モデルの構築、訓練、デプロイの機能を提供。衛星画像データの処理や地理空間分析に特化。 |
総括
前述したサービスの中で、AIF試験勉強で頻出のサービスは以下です。
- SageMaker Studio
- SageMaker Canvas
- SageMaker Feature Store
- SageMaker Clarify
- SageMaker Model Monitor
ただ、媒体によっては他のサービスも出てくると思いますので、やはり全サービスの概要だけでも理解しておく必要がありそうです。
💭 余談ですが、「<サービス名>＋<機能名>」という組み合わせが多いリソースほど、試験勉強が辛くなります。（Amazon SageMakerもその一つ）
