[レポート] Responsible AI: From theory to practice (1/2) – Google Cloud Next ’20: OnAir #GoogleCloudNext

こんにちは、Mr.Moです。

現在、2020年7月14日から9月8日までの数週間にわたってGoogle Cloudのデジタルイベント『Google Cloud Next ’20: OnAir』が開催されています。

当エントリでは、その中から「Cloud AI」シリーズのセッションとして公開された『Responsible AI: From theory to practice』の内容をまとめてみたいと思います。（独自の解釈なども含まれると思いますのであらかじめご了承ください）

はじめに

• 2030年にはAIは世界経済を支配
• AIに対応していないアプリケーションは欠陥品と感じるようになる

とある研究などでは、あと10年もしないうちにAIが世界のGDP成長のNo1の要因になることや、2030年までの成長を13兆ドルと予想しているといった見解があります。また、その動きは今まさに始まっておりAIに対応していないテクノロジーは何かが足りないと感じるようになるとも言っています。

• ガバナンスは、2020年には最大のAIエンタープライズ要件になる
• 責任あるAIは成功するAIに等しい

AIの成長は2011年から2020年までの誤差率の推移を見ると著しい成果をあげています。ただ、責任の観点からはより注意と配慮が必要です。正確で強力なビジョンAI技術は有害な方法で使用された場合、個人のプライバシーの損失につながり深刻な実生活への影響をもたらす可能性があります。このことが企業がAIを本番適用する際の最大のハードルになっているのです。90%の組織が倫理的な問題が発生した場合、40%の企業が問題を解決する代わりに放棄するというデータもあります。また、ガバナンスは2020年にはAIにおける最大の企業要件になると報告されています。とある情報でも2020年までに、デジタル的に信頼できる企業は、そうでない企業に比べてオンラインでの利益を20%増加させると予想しています。このことはすべて、責任あるAIが成功するAIに等しいというGoogleの信念に合致しています。効率性の向上と競争上の優位性は、AIが責任を持って開発され、エンドユーザーに信頼される世界でのみ完全に実現されるでしょう。

• 責任あるAI開発をサポートするための取り組み
  • 原則と実践
  • プログラムの構築
  • ツールの提供

善意の人や企業が意図しない害を引き起こす可能性があり、そのリスクを理解しそのような結果を回避するためのプロセスを構築する必要があります。Googleではこれらの重要な疑問に答えるため、責任あるAI開発をサポートするための「原則と実践」、「プログラムの構築」、「ツールの提供」を行っています。

Principles & Practices(原則と実践)

• GoogleのAIの原則
• 原則の理念を理解し実践する
• AIがあるべき姿を追求する

GooglのResponsible AI(責任あるAI)へのアプローチの根拠となっているのはAIの原則です。倫理的な理論やAIの責任の重要な要素を、開発に適用するための体系的な方法にまとめるにはどうすればよいのか。最初のステップとして重要なのは全社的なAIの原則を開発することであるというのが2017年の夏にわかっており、2018年にはGoogleからAIの原則が発表されています。Googleでは組織やコミュニティが最も繁栄するのは、倫理的価値観に加えて各人が果たすべき役割をコミュニティ内で共有するような倫理的なコミットメントがあるときだと信じられています。しかし、こういった原則や実践のような紙の上の計画は、それらが運用可能になって初めて効果を発揮します。なので、原則を公表して生じた作業は、それを解釈し実際に適用することでした。結局、技術に何か問題が起きた場合、AIの原則のようなものがあっても問題を防ぐために何をしたかを証明できないのならそれは悲惨な結果になるとGoogleは言っています。

Programs(プログラムの構築)

• AIのレビュープロセス
• 各種プログラム
• Googleの責任あるAIエコシステム

Googleは、原則に忠実であるためには原則を体系的かつ反復可能な方法で実践するための内部ガバナンスプロセスを開発する必要があるとすぐに気づいていました。これには、製品や顧客の取引レビュー委員会、教育プログラム、パートナープログラム、顧客との相談方法や仕事の進め方に関する研修など、責任あるAIガバナンス能力の構築が含まれます。GoogleではAIを利用する方法が非常に多岐にわたっており、ある方法で使えば有益なものになり、別の方法で使えば有害なものになることがあります。つまりAIを統治することはテクノロジーだけではなく、テクノロジー、ユースケース、トレーニングデータ、それが動作する社会的コンテキスト、そしてそれが本番でどのように展開されるかの組み合わせが重要ということです。そこでGoogleではエコシステムを構築し、Googleのあらゆる製品分野のチームが原則を運用化する方法を学べるよう支援も行っています。

• AIプロジェクトレビュー
• AIプロダクトレビュー

AIの原則を実践するにはどうしたらよいか考えたとき、確立した原則に基づいて良し悪しを判断できる巨大な意思決定ツリーとチェックリストを作成すればよいのではないかというのが当初あったようですが、誰もが納得するレベルのチェックリストや意思決定ツリーを持つことはやはり不可能でした。そこで、厳密な評価を提供しつつ新しいテクノロジーが形を成していくのを柔軟に考慮するために2つのレビュー機関を設けることをしています。1つ目のレビュー機関では、あるプロジェクトが前進できるのか、原則に沿っていないので前進しないのか、それとも何らかの条件をつけて前進するのかについて、迅速に現場チームに答えを出すことを意図しています。2つ目のレビュー機関では、どのように製品を構築し、開発していくのかということを意図しています。製品開発ライフサイクルの比較的早い段階で、2週間ごとに詳細なレビューを行うことを目標とし、チームのメンバーが製品の初期評価を行い、技術チームと手を取り合って製品を深く理解し、原則の意味合いを評価し、製品の計画に組み込むための緩和策を提案します。チームとしての問題点を洗い出し、理論的に良いだけでなく、実際に実現可能な製品の結果と進むべき道筋を導き出すことができます。

• 専門知識とレベルの多様な審査委員会
• より安全で、より公正な、より説明責任のある製品

多様な審査委員会の重要性というのがあります。これは様々なレベルのメンバー、様々なバックグラウンドを持つ専門家、社内に専門知識が足りない部分は外部からの募り、すべての役割を横断したクロスファンクショナルなものにしたいという思いがあります。実際に著名な技術倫理学者を雇った際にはレビューの参加時に、非常に有益な方法で協力を得られたようです。また、AIの原則のような憲法には解釈が必要であり、原則は魔法ではなく会話のための枠組みです。潜在的な問題に対応し協力して修正を行い、どんなに無害に見えてもすべてのAI製品は原則評価を経る必要があるとGoogleは言っています。

Google社内では責任あるAIを日々の仕事に取り入れるためのツールと知識を学ぶためのトレーニングコースがあります。トレーニングコースの一部は外部でも提供があるようですね。

Tools(ツールの提供)

• Fairness indicators
• What-if tool
• Model cards
• AI Explanations

AIの原則を実践する方法に、責任あるAIツールやフレームワークの利用があります。ここではAIが直面しているいくつかの主な懸念事項に取り組むためにGoogleが提供している4つのツールについて触れていきます。

• どのようにしてバイアスを補正するのか、そのためにどのようなツールを提供しているか
• 多様なユーザに等しく機能する体験を提供する
• AIにおける公平性への取り組みは活発な研究分野

GoogleはMLの公平性についてどのように考えているのでしょうか。システムの適切な公平性の基準を特定するには、ユーザーエクスペリエンス、文化的、社会的、歴史的、政治的、法律的、倫理的な考慮事項を考慮する必要がありますが、そのうちのいくつかはトレードオフを伴う可能性があります。多様性に富んでいるGoogleのすべてのユーザに等しく機能する体験を提供すること。Googleには、これらの問題に異なるアプローチで取り組み、より多くの人にとってより公平で包括的なテクノロジーを生み出す力があります。また、AIにおける公平性への取り組みは、批判的な知識を体現する多様な労働力の育成から、誤った問題のあるバイアスを取り除くためのトレーニングモデルの開発まで、Googleをはじめとし活発に研究が行われている領域でもあります。

• 製品設計の意思決定をする際に、万人のニーズに沿ったものではないという歴史がある
• 公平性への懸念は、製品設計の決定に簡単に組み込まれてしまう

これまでの製品設計の決定は、常に万人の人のニーズに沿ったもので無かった例を見ていきましょう。2011年まで、自動車メーカーは女性の身体を表す衝突試験用のダミーを使用することを義務付けられていませんでした。その結果、自動車事故で重傷を負う可能性が男性よりも女性の方が47％も高かったのです。また、バンドエイドは長い間、白人の肌の色に合わせて作られてきました。製品や技術は誰にでも使えるものでなければなりません。この2つの例で行われた選択は、テクノロジーのデザインとそれが人間に与える影響について熟考することの重要性を強調しています。この2つの例のように、機械学習や開発の中心には人間がいます。そして、公平性への懸念はAIの製品設計の決定に簡単に組み込まれてしまう可能性があります。

• 説明責任のあるAIを構築するには、MLのライフサイクル全体にわたって難しい問いに答える必要がある

テクノロジーをより包括的で公平なものにするためには、どのようにアプローチすればよいのでしょうか。不公平性はMLパイプラインのどの時点でもシステムに入り込むことができてしまいます。MLの公平性の仕事は、不公平性の根本的な原因や相互作用を切り離し前進する方法を見つけることです。Googleではライフサイクルの各段階で、責任あるAIを構築するための支援するツール、ベストプラクティス、フレームワークを特定してきました。GoogleはMLのライフサイクルの最後の段階、評価とモニタリングの段階でツール開発と透明性のフレームワークの面で本当に力を入れています。

続く...

なお、このセッションのレポートは内容が長くなったので２つに分けました。後半は下記をご参照ください。

参考

• https://cloud.google.com/explainable-ai/
• https://cloud.google.com/blog/products/ai-machine-learning/introducing-the-what-if-tool-for-cloud-ai-platform-models
• https://modelcards.withgoogle.com/about
• https://ai.googleblog.com/2019/12/fairness-indicators-scalable.html
• https://finders.me/articles.php?id=943