【レポート】AWS Summit Tokyo 2023：責任ある AI (Responsible AI) を理論から実践へ #AWSSummit

こんにちは、AWS事業本部オペレーション部の坂本です。

AWS Summit Tokyoに7年ぶりくらいに参加してきました。 幕張メッセで開催するAWS Summitの参加は初めてでした。

本記事では、2023年4月21日行われた「責任ある AI (Responsible AI) を理論から実践へ 」に関する内容をレポートします。

セッション情報

セッションについては以下の通りです。

■スピーカー
アマゾン ウェブ サービス ジャパン合同会社 パブリックセクター 技術統括本部 ソリューションアーキテクト 片山 洋平氏

■概要
人工知能（AI）と機械学習（ML）は、社会課題への取り組みを支援し、企業における顧客体験の向上やイノベーションの促進のため活用されてきています。昨今の AI/ML の普及に伴い、人権、尊厳、および公平性、プライバシー、公正さなどの価値を尊重し、責任を持って使用されるべきであるという認識が生まれています。「Theory to Practice；理論から実践へ」をテーマに、高い透明性を持って、AWS 上 で AI/ML を使用する方法について解説を行います。

■URL
https://jpsummit.awsevents.com/public/session/view/96

セッションレポート

セッションのアジェンダ

・概要編:Responsible AIの背景
・実践編①:機会学習のプロジェクトのフェーズで考える Responsible AI
・実践編②:AWSを活用したResponsible AIの実践
・まとめ

概要編:Responsible AIの背景

AIや機械学習の発展してきた。 それとともに、責任を持って利用すべきという認識が生まれてきている。

• AIにおけるバイアスとは
  • サブグループ（人口統計学的な変数のグループ）に対するシステムの動作に有害な差があること
• Responsible AIとは
  • いくつかの側面がある
    公平性、説明可能性、堅牢性、透明性、ガバナンス、プライバシーとセキュリティなど
• Responsible AIはなぜ複雑なのか
  • 成功はユースケースによる
  • AIを取り巻く急激な変化（EUのAI法など）
  • 技術的な複雑さ

実践編①:機会学習のプロジェクトのフェーズで考える Responsible AI

• どのフェーズでResponsible AIが必要か？→ 機械学習のどのフェーズにおいても、Responsible AIを考慮する必要がある
  • ビジネス課題の定義：ユースケースで制約事項を理解する
  • 課題の定式化：アプローチについて多様なステークホルダーやチームと議論して、異なる視点を考慮する
  • データ：適切かつ高品質なデータを収集する、センシティブな特徴量を特定し、必要に応じて、ラベルや特徴量を前処理で変換する
    　例)古いデータだと現在と状況が異なる（スマホの普及率など）
  • アルゴリズム：説明可能なアルゴリズム
  • モデル：公平性の指標を使用して、結果がどの程度公平か判断する、信頼度スコアを含めるようにする
  • モニタリング＆再学習・デプロイ：モデルのドリフト（精度の低下）をチェック、モデルが意図通り使用していることを確認する、数年前のモデルで推測しない、20代で学習されたモデルを50代に使わない
  • 推論結果：意思決定に関する問い合わせ方法を提供

実践編②:AWSを活用したResponsible AIの実践

Responsible AIを理論から実践に使える、サービス、ツール、ガイダンスを提供

• Amazon SageMaker Ground Truth
  • データが最初から、必要に応じて人間のレビューを受けながら正確にラベルづけされることを支援
• Amazon SageMaker Clarify -　データの準備から展開まで、潜在的なバイアスを検出
• ML Governance tools
  • アクセスコントロールを簡素化し、透明性を高めることで、バイアスのようなモデルの挙動に関する情報一元的に把握可能
• AWSエキスパート
  • AI/ML のライフサイクル全体を通して、ベストプラクティス、監督、ハンズオン指導を実施※

※セッションでは"Amazon SageMaker Clarify"、"ML Governance tools"について詳細を説明

■ Amazon SageMaker Clarify
機械学習モデルを説明し、データやモデルのバイアスを評価する

• データ準備時のバイアスを検出
• 訓練されたモデルのバイアスを検出
• モデルの全体的な動作を説明
• 個別の予測を説明する
• 時差経過によるバイアスとドリフトを検出
• 監査人に全体的なレポートを提供する

「Amazon SageMaker Clarify」はMLライフサイクル全体で使用可能

• データ:Amazon SageMaker Data Wrangler
• アルゴリズム：Amazon SageMaker Autopilot
• モデル:Amazon SageMaker Processing,Training,Hyperparameter Tuning
• モニタリング＆再学習：Amazon SageMaker Model Monitor
• デプロイ: Amazon SageMaker Hosting

SageMaker Clarifyでの説明可能性

• SHAPに基づく
• 対比的な説明が可能せ
• 個々の予測についての説明とモデル全体の説明に両方に対応
• モデルに非依存
• SageMaker Clarifyの処理のジョブはKernelSHAPアルゴリズムを使用した説明の画像の説明をサポート
  ※何を参照して、結果出力したがわかる
• SageMaker Clarifyによるドリフトの検知

■ ML Governance tools
リソースのアクセス管理、モデルの監査を容易に実行するためのガバナンス機能
- Amazon SageMaker Role Manager：テンプレートからアクセス許可を定義 - Amazon SageMaer Model Cards：モデルの情報を一元管理 - Amazon SageMaker Model Dashboard：モデルの監査状況などをモニタリング

■ AI Service Cards
Responsible AIを推進するリソース
意図するユースケース、公平性に関して公開している

■ Machine Learning University
公平性とバイアスに関するハンズオントレーニング
※現在は英語のみ

■ AWS Well-Architected Framework
- 10年以上の経験、かず多くのお客様と作り上げた、クラウド設計・運用のベストプラクティス集 - 定期的なレビューとKAIZENにより、Well-Architectedなシステムに

■ Machine Learning Lens
MLアーキテクチャのベストプラクティスを公開

まとめ

機械学習のモデルには意図しないバイアスが含まれる可能性があるため、Responsible AIについて考慮することが求められている MLライフサイクル全体でAmazon SageMaker Clarifyを利用し、構築するAIシステムにおけるバイアスを低減する

扱っているAI、扱う予定のAIのシステムのResponsibilityを考え主要なステークホルダーと会話を開始する。
AWS Well-Architected Machine Learning Lensを利用して、MLライフサイクルをセルフレビューする。

セッションの気付きと感想

AIや機械学習の出力をどのように正確にするかという点に興味があり、このセッションを受けました。
Responsible AIという言葉は知りませんでしたが、セッションの後、検索してみたらさ様々の会社のドキュメント上にあり、今後重要になってくるキーワードだと思いました。 MLやAIをで利用することがあった場合はResponsible AIを意識しようと思います。

参考リンク