【レポート】 AWS re:Invent 2020 Machine Learning Keynote #reinvent #KEY005

[2020.12.11 Update]
Keynoteには含まれていませんでしたが「SageMaker JumpStart」に関する情報を末尾の方に追加しました。事前準備済みの機械学習ソリューションテンプレートや学習済みモデルを利用して、機械学習の敷居を大幅に下げられる強力な新機能です！

データアナリティクス事業本部の貞松です。

本記事は、AWS re:Invent 2020のMachine Learning Keynoteに関するレポートです。 リアルタイムでは、12/９(水)の1:00-3:00(JST)に配信され、これまでのre:Invent 2020開催期間中に発表された機械学習系の新機能・新サービスをおさらいしつつ、本Keynoteで初出の新機能・新サービスが発表されました。

本記事では、Keynoteで発表された内容について全体的にざっくり網羅する為に、発表された新機能・新サービスそれぞれについての概要と現時点の参考情報をまとめます。

本Keynote以前のre:Invent 2020期間中に発表された機械学習系の新機能・新サービス

以下は本Keynote以前に発表済みの機械学習系の新機能・新サービスですが、本Keynote内でも改めて紹介されていたので、おさらいとしてまとめておきます。

Amazon SageMaker Data Wrangler

概要

SageMaker Studio上のビジュアルインターフェースを使用して、機械学習用のデータセットを素早く準備するための機能です。
主にデータのインポート、データの変換、データの可視化の機能を有しており、これらを使用することで必要なデータセットを準備できます。

AWS公式ブログ

Developers.IOブログ

Amazon SageMaker Pipeline

概要

SageMaker Pipelinesは機械学習における一連の処理をパイプラインとして定義、実行できるサービスです。
パイプラインの作成や確認は主にSageMaker Studio上のGUI操作によって行うことができます。

AWS公式ブログ

Developers.IOブログ

Amazon SageMaker Feature Store

概要

学習データにおける特徴量のセットを管理し、自由に扱えるようにするAmazon SageMakerの新機能です。
具体的には、特徴量のセットに対して、タグ付けやデータ型のフォーマッティングを施して保存することによって、いつでも自由に検索、適用できるように管理します。

AWS公式ブログ

Developers.IOブログ

Amazon QuickSight Q (Preview)

概要

Amazon QuickSightの新機能であり、自然言語を用いたクエリ処理によって、直感的に必要なデータを取得、可視化する為の機能です。
自然言語クエリ（NLQ）機能を用いることで、SQLのような機械よりの言語を使わなくても、日常会話的な言葉でそのまま意図したクエリを実行することができます。

AWS公式ブログ

Developers.IOブログ

Amazon Lookout for Vision(Preview)

概要

製造産業の現場において、製品等の画像を対象として欠陥の検出を行うためのサービスです。
学習データとして、最少で30枚の画像(20枚の正常な画像と10枚の異常な画像)があれば利用可能である点も大きな特徴です。

AWS公式ブログ

Developers.IOブログ

Amazon Monitoron (Preview)

概要

Amazon Monitronは、機械学習を使用して産業機械の異常な動作を検出するエンドツーエンドのシステムであり、予知保全を実装し、計画外のダウンタイムを削減できます。 専用のエッジ端末(センサーデバイス)とセットになったサービスとなっており、サービスに合わせた端末の選定が不要な点が大きなアドバンテージであると言えます。

AWS公式ブログ

Developers.IOブログ

AWS Panorama (Preview)

概要

Amazon SageMakerを使用してコンピュータービジョンモデルを開発し、それをAWS Panorama Applianceにデプロイすることで、手持ちのIPカメラからのビデオフィードでそのモデルを実行させることができるようになります。 こちらも専用のエッジ端末(コンピュータビジョンモジュール)とセットになったサービスとなっています。

AWS公式ブログ

Developers.IOブログ

本Keynoteで発表された機械学習系の新機能・新サービス

Deep Profiling for SageMaker Debugger

概要

昨年のre:Inventで発表されたSageMaker Debuggerのアップデート機能により、ハードウェアリソースの使用によって引き起こされるトレーニングの問題を簡単に特定して修正できるようになりました。
導入したプロファイルでは、CPU・GPU、RAM・GPURAM、ネットワークI/O,ストレージI/Oなどのメトリックを収集し、レポートを生成したり、プロファイリングルールに基づいてイベントをトリガすることができます。

AWS公式ブログ

Developers.IOブログ

Amazon SageMaker Clarify

概要

学習用のデータセットに含まれる、ビジネス、倫理、および規制に影響するようなバイアスを含むデータを検出し、その特徴的な値が結果にどのように影響するかを説明します。
また、Amazon SageMaker Model Monitorと統合することで、バイアスドリフトと特徴重要度ドリフトを継続的に検出することもできます。

AWS公式ブログ

Amazon SageMaker Edge Manager

概要

これはAmazon SageMakerの新機能であり、エッジデバイスでの機械学習モデルの最適化、保護、監視、保守を容易にします。
Amazon SageMaker Neoで最適化されたモデルをエッジデバイスにデプロイし、SageMaker Edge Manager ManagerAgentによってそれらを管理します。

AWS公式ブログ

Amazon Redshift ML (Preview)

概要

Amazon Redshift MLでは、Amazon Redshift上で実行されるSQLクエリを用いて機械学習モデルを作成、トレーニング、デプロイすることができます。 学習用のデータセットの抽出から、そのデータを用いたモデルの学習まで、機械学習に必要な処理を一つのSQL文に閉じた形で記述・実行することができる為、管理するリソースや処理のスコープが簡潔になります。

AWS公式ブログ

AWS公式YouTubeチャンネル

AWS公式のYouTubeチャンネルにアップロードされているモデル作成のデモ動画です。

Developers.IOブログ

Amazon Neptune ML

概要

Neptune MLは、グラフ専用の機械学習（ML）手法であるグラフニューラルネットワーク（GNN）を使用する新機能です。
GNNを使用すると、スタンフォード大学の研究に基づく非グラフ手法を使用して予測を行う場合と比較して、グラフのほとんどの予測の精度を50％以上向上させることができます。

AWS公式ブログ

Amazon Lookout for Metrics (Preview)

概要

AWS上のデータソース(S3, CloudWatch, RDS, Redshift)だけでなく、サードパーティのSaaS(Salesforce、Google Analytics、Slack、Zendeskなど)をデータソースとして、高精度な異常検知を実行するサービスです。
単純な異常検知(アラート通知)だけでなく、異常の根本原因を解析する機能も有しています。

AWS公式ブログ

Developers.IOブログ

Amazon HealthLake (Preview)

概要

Amazon HealthLakeはフルマネージドのHIPAA適格サービスです。
医療現場における多種多様な形式で保管された複雑な構造のデータを一元化されたデータレイクに集約することができます。

AWS公式ブログ

まとめ

Machine Learning Keynote以前に発表された新機能・新サービスのおさらいも含めると、かなり膨大の量の機械学習系サービスの情報が短期間にぎゅっと凝縮してリリースされていることがわかります。
物理的なエッジ端末込みのサービスが目を惹きますが、それ以外にも実際に機械学習モデルやそれを取り囲むシステムの開発において重要な、所謂「渋い」機能も多数発表されており、これから全体的に深掘りしたキャッチアップに忙しくなりそうです。

[2020.12.11 Update] 後日談

SageMaker JumpStartが発表されました！

Machine Learning Keynoteの翌日に「SageMaker JumpStart」なる新機能が発表されました。
何故Keynoteで触れられなかったのか意味がわからないぐらい強力な機能なので、是非詳細について以下のブログをご参照いただけると幸いです。