クラスメソッド データアナリティクス通信(機械学習編) – 2024年10月号
2024.10.17データ事業本部 インテグレーション部 機械学習チームの鈴木です。
クラスメソッド データアナリティクス通信(機械学習編) の2024年10月号です。2024年9月分のアップデート情報をお届けできればと思います。
はじめに
AWSでは、個人的にはStudioでアイドル状態のアプリケーションの自動シャットダウンが嬉しいアップデートでした。ついインスタンスを消し忘れてしまい、課金が続いてしまうというケースはしばしばあり、それを防ぐための仕組みを作っていたりするので、ネイティブの機能でサポートされるのはとても良いですね。MLFlowのPrivateLinkのサポートも、よりMLFlowの機能を導入しやすくなります。
Google Cloudでは、Gemini 1.5の002バージョンの一般提供開始が大きなニュースだと思います。また、レスポンスの形式を指定できる機能がGemini 1.5 Flashでサポートされ、レスポンスの処理がしやすくなったのも重要なアップデートではないでしょうか。
それでは各々のアップデートを振り返って行ければと思います。
※ アップデートは機械学習チームメンバー内で業務に取り入れられそうかを中心に確認しているので、一部取り上げられていないものもあるかもしれませんが、参考になりましたら幸いです。また、複数のパブリッククラウドのサービスを取り上げますが、比べたりする意図はありません。
AWSのアップデート
Amazon SageMakerのアップデート
SageMaker HyperPodがAmazon EKSをサポート
HyperPodでAmazon EKSサポートが一般提供され、KubernetesによるMLワークフローの実行ができるようになりました。
SageMaker Inferenceのスティッキーセッションルーティングが利用可能に
SageMaker Inferenceでスティッキーセッションルーティングが利用できます。最初のリクエストでセッションIDを作成することで、そのセッションIDを使用してSageMakerが以降のすべてのリクエストを同じインスタンスにルーティングすることができます。
SageMaker Studioでアイドル状態のアプリケーションの自動シャットダウンをサポート
非アクティブ状態が一定期間続いたアプリケーションを自動シャットダウンするようになりました。Amazon SageMaker Distributionイメージバージョン2.0以降を使用するJupyterLabとCodeEditorアプリケーションが対象で、管理者はアイドルシャットダウン時間を設定する必要があります。
Llama 3.2モデルをJumpStartで利用可能に
Llama 3.2モデルをJumpStartで利用可能になりました。
SageMakerのMLFlowがPrivateLinkをサポート
SageMakerのMLFlowで、PrivateLinkをサポートしました。これにより、MLflowとの通信がAWS ネットワーク内で行われるため、より安全に利用できます。
モデルデプロイ時のソフトウェアとドライバーのバージョンを選択できるように
SageMakerにモデルをデプロイする際に、NVIDIAドライバーやCUDAバージョンなどの組み合わせを選択できるようになりました。
APIのアップデート
上記で紹介したもの以外には、EFSのユーザーホームフォルダをStudio Spacesに自動的にマウントするようになったものと、SageMaker APIにアトリビュートの追加がありました。
- 2024/09/03 - Amazon SageMaker Service - 6 updated api methods
- 2024/09/05 - Amazon SageMaker Service - 9 updated api methods
- 2024/09/09 - Amazon SageMaker Service - 5 updated api methods
- 2024/09/09 - Amazon SageMaker Runtime - 2 updated api methods
- 2024/09/24 - Amazon SageMaker Service - 6 updated api methods
Amazon Bedrockのアップデート
エージェントでClaude 3.5が利用可能に
Bedrock のエージェントでClaude 3.5が利用可能になりました。バージニア北部、オレゴン、フランクフルト、東京、シンガポールが対象です。
ナレッジベースがクロスリージョン推論のサポート
クロスリージョン推論のサポートが発表されました。RetrieveAndGenerate APIを利用する際に、複数のリージョン間でトラフィックが動的にルーティングされるようです。どちらかというと、トラフィックが多い場合に別リージョンのリソースを使うのがメインの用途のようです。
Llama 3.2 生成 AI モデルが利用可能に
オレゴンでMetaのLlama 3.2 90Bと11Bモデルが利用できるようになりました。
APIのアップデート
PromptVariantがユーザーメタデータをサポートしました。
- 2024/09/04 - Agents for Amazon Bedrock - 4 updated api methods
- 2024/09/16 - Amazon Bedrock - 3 updated api methods
Google Cloudのアップデート
Vertex AIのアップデート
Rayクラスターが自動スケーリング機能をサポート
Rayクラスターが自動スケーリング機能をサポートしました。
カスタムトレーニングと予測ジョブ向けにVMの予約がプレビュー提供
A2およびA3マシンシリーズでカスタムトレーニングと予測ジョブ向けにVMの予約がプレビューでサポートされました。
カスタムトレーニングと予測ジョブ向けにスポットVMの利用をサポート
スポットVMを使って実行コストを削減できる機能がプレビューで提供されました。
Generative AI on Vertex AIのアップデート
Gen AI Evaluation ServiceがGA
生成AIモデルおよびアプリケーションを評価するためのGen AI Evaluation Serviceが一般提供を開始しました。
Gemini 1.5 Flashが生成された出力を制御する機能をサポート
Gemini 1.5 Flashで生成された出力を制御する機能をサポートされるようになりました。
これにより、レスポンスのスキーマを指定し、後続の処理で期待する特定の形式に準拠させることができます。
Gemini 1.5の新しい安定版が一般提供開始
Gemini 1.5 Pro (gemini-1.5-pro-002)とGemini 1.5 Flash (gemini-1.5-flash-002)が一般提供開始しました。
001バージョンに比べて幅広い観点で品質改善がされているようです。
詳細はModel versions and lifecycleのModel version highlightsをご確認ください。
Model Gardenの組織ポリシーで利用できるモデルと機能を制限できるように
組織・フォルダ・プロジェクトレベルでポリシーを定義し、承認済みのモデルにのみアクセスできるようにすることができます。
generateContent APIおよびstreamGenerateContent APIの呼び出しにラベルを追加できるように
generateContent APIおよびstreamGenerateContent APIの呼び出しにラベルというメタデータを追加することで、ラベルに基づいて呼び出しをフィルタリングできるようになりました。
Llama 3.2 90Bモデルがプレビューで利用可能に
Llama 3.2 90Bモデルがプレビューで利用可能になりました。
Vertex AI Agent Builderのアップデート
パブリックプレビューで自然言語によるクエリのフィルタをサポート
自然言語から検索クエリのフィルターを自動的に作成し、返される結果の品質を向上させられるようになりました。
例えばFind a coffee shop serving banana breadという自然言語のフィルタを設定できるようになりました。
RAG向けのranking APIのアップグレード
Vertex AI Agent BuilderでRAGを実施する際にできるクエリに基づいたドキュメントセットのランク付けについてアップデートされました。
上位にランクされる文書の関連性が大幅に改善されるようです。
Vertex AI SearchでFirestoreとCloud SQLからデータをインポートする機能がGA
Vertex AI SearchでFirestoreとCloud SQLからデータをインポートする機能がGAになりました。
Vertex AI Agent Builder: Redirection URI for grounded results (GA)
Google検索によるグラウンディングで、グラウンディングに使用したURLに誘導するリダイレクトURLを結果に含む機能が一般提供開始しました。
リダイレクトURLは最大30日間アクセス可能です。
BigQuery ML
エンべディングのための機能を強化
ML.GENERATE_EMBEDDINGで以下の機能をサポートするようになりました。
- LLMによるマルチモーダルなエンべディング
- 主成分分析またはオートエンコーダーでのエンべディング
- Matrix Factorizationでのエンべディング
イベント・サービス情報
相談会
クラスメソッドのアナリティクス分野の支援では、AWS、Google Cloudを中心としたクラウド上でのデータ分析基盤環境づくりにおいてトータルでサポートしています。
このようなことでお困りではないですか？相談会にお気軽にご相談ください。
- 企業内に点在するデータを1箇所にまとめて分析したい
- クラウド上で分析基盤を導入したい・・・
- データを活用したいが、具体的に何から始めたらいいかわからない
機械学習相談会のお申込みはこちらです。
データ分析相談会のお申込みはこちらです。
機械学習システム導入支援サービスについて
AWSやGoogle Cloudなどパブリッククラウドにて、機械学習サービスを活用したシステムの導入支援を行います。詳しくは以下のページをご覧ください。
例えば以下のようなケースをご支援しています。
- ECサイトのレコメンドシステムを構築し、利用者にパーソナライズされたおすすめ商品を提示する
- SNSや問い合わせのログなどから、テキストマイニングを活用したインサイトの発見する
- 画像解析により、工場における不良品検出や農業・畜産業分野での生育管理を効率化する
- 売上や消費者の行動などから、将来の需要を予測する
最後に
2024年9月に発表された、AWSとGoogle CloudのML機能のアップデートについて、メンバーでピックアップした情報についてご紹介しました。
データアナリティクス通信(機械学習編) - 2024年10月号は以上です。
![[レポート] 目的に応じたマネージドデータベースの使い方が学べるワークショップ「Build a web-scale application with purpose-built databases & analytics [REPEAT]」 #DAT403-R1 #AWSreInvent](https://images.ctfassets.net/ct0aopd36mqt/3IQLlbdUkRvu7Q2LupRW2o/edff8982184ea7cc2d5efa2ddd2915f5/reinvent-2024-sessionreport-jp.jpg)
