クラスメソッド データアナリティクス通信(機械学習編) – 2024年7月号

データ事業本部 インテグレーション部 機械学習チームの鈴木です。

クラスメソッド データアナリティクス通信(機械学習編) の2024年7月号です。2024年6月分のアップデート情報をお届けできればと思います。

はじめに

AWSでは、フルマネージドのMLflowのサポートが大きなニュースだったと思います。MLflowを使って実験管理をされている方は、MLflowサーバーの構築や管理をしなくても、AWS環境でMLflowが利用できるようになりました。

Google Cloudでは、Vertex AI Searchで多数のアップデートがでていました。検索のブースト条件やフォローアップ機能による回答生成の品質向上、クエリに関係性の高い回答のみを表示する機能は、より品質良い検索アプリを開発するためのポイントとなるアップデートだと思います。

それでは各々のアップデートを振り返って行ければと思います。

※ アップデートは機械学習チームメンバー内で業務に取り入れられそうかを中心に確認しているので、一部取り上げられていないものもあるかもしれませんが、参考になりましたら幸いです。また、複数のパブリッククラウドのサービスを取り上げますが、比べたりする意図はありません。

AWSのアップデート

SageMakerのアップデート

モデルレジストリでモデルカードを管理可能に

モデルレジストリがモデルカードを統合し、特定のモデルバージョンのガバナンス情報を簡単に管理できるようになりました。

• Amazon SageMaker Model Registry now supports machine learning (ML) governance information - AWS

SageMaker Canvasが基盤モデルをリアルタイム推論エンドポイントにデプロイできるように

Canvasから生成AIを推論エンドポイントにデプロイし、Canvasワークスペース外からも利用できるようになりました。

• SageMaker Canvas から基盤モデルを本番環境に移行する - AWS

フルマネージドのMLflowをサポート

フルマネージドのMLflowをサポートしました。ユーザーはMLflowサーバーを用意・管理せずとも、SageMakerの実験管理を行うことができるようになります。

• Amazon SageMaker now offers a fully managed MLflow Capability - AWS

以下の記事で詳細や使用方法のイメージを紹介しています。

• Amazon SageMakerでマネージドなMLflowが使用できるようになりました | DevelopersIO

Amazon SageMaker HyperPodが統合されたクラスターストレージをサポート

SageMaker HyperPodクラスターインスタンス向けに自動でプロビジョニング・管理されるEBSボリュームがサポートされました。

• Amazon SageMaker HyperPod が構成可能なクラスターストレージのサポートを開始 - AWS

モデルレジストリがクロスアカウントのモデル共有をサポート

AWS Resource Access Manager(AWS RAM)と統合され、アカウント間で安全にモデルを共有できるようになりました。

• Amazon SageMaker Model Registry now supports cross-account machine learning (ML) model sharing - AWS

SageMaker Studioのパーソナライズができるように

管理者がエンドユーザーの設定に基づいて、アプリケーションやツールの表示・非表示を設定できるようになりました。

• Amazon SageMaker now supports SageMaker Studio Personalization - AWS

APIのアップデート

上記のものに加え、SageMaker Workforce向けのOIDC設定の改善があったようです。

• 2024/06/07 - Amazon SageMaker Service - 2 updated api methods
• 2024/06/11 - Amazon SageMaker Service - 5 updated api methods
• 2024/06/18 - Amazon SageMaker Service - 8 new 4 updated api methods
• 2024/06/20 - Amazon SageMaker Service - 2 new 14 updated api methods
• 2024/06/27 - Amazon SageMaker Service - 6 updated api methods

Bedrockのアップデート

新しいモデルをサポート

AnthropicのClaude 3.5 Sonnetモデルが利用可能になりました。

• Anthropic の Claude 3.5 Sonnet モデルが Amazon Bedrock で利用可能に - AWS

また、AI21 LabsのJamba-Instructモデルも利用可能になりました。

• AI21 Labs' Jamba-Instruct model now available in Amazon Bedrock - AWS

ナレッジベースでは、Amazon Titan Text Embeddings V2が利用可能になりました。

• Amazon Titan Text Embeddings V2 now available for use with Bedrock Knowledge Bases - AWS

APIのアップデート

Converse APIでガードレールを使うための更新がありました。

• 2024/06/18 - Amazon Bedrock Runtime - 2 updated api methods
• 2024/06/20 - Amazon Bedrock Runtime - 2 updated api methods

Converse APIについては以下の記事が参考になります。

• Amazon Bedrock の Converse API を使ってみる | DevelopersIO

Google Cloudのアップデート

Vertex AI Agent Builderのアップデート

grounded answers生成機能が一般提供開始

Vertex AI Searchでgrounded answersが一般提供開始しました。

以下のグラウンディングソースに基づいた回答を生成することができます。

• Google 検索: 広いトピックやインターネット上の最新情報に結び付けられる
• インラインテキスト: ユーザーがLLMに提供できる
• Vertex AI Search データストア: ユーザーが作成した特定のデータストアに結び付けられる

また、クエリにプリアンブルとしてシステム指示を追加できるようにもなりました。

詳しくは以下のガイドをご確認ください。

• Generate grounded answers  |  Vertex AI Agent Builder  |  Google Cloud

Vertex AI Searchで優先的に検索を行うブースト条件が追加

検索リクエストでブースト条件を指定し、特定のドキュメントの優先度を昇格・降格することができるようになりました。

• Boost search results  |  Vertex AI Agent Builder  |  Google Cloud

Vertex AI Searchでデータストアやクエリに言語の明示ができるように（プレビュー）

プレビューでデータストアに言語コードを設定できるようになりました。これにより検索性能が向上する可能性があります。

• REST Resource: projects.locations.collections.dataStores  |  Vertex AI Agent Builder  |  Google Cloud

検索クエリについても設定できるようになりました。

• Method: projects.locations.collections.dataStores.servingConfigs.search  |  Vertex AI Agent Builder  |  Google Cloud

Vertex AI Searchでフォローアップ機能が一般提供開始

複雑なクエリを要約したりなどして、回答生成のためのAPIがさらに改良されました。

• Get answers and follow-ups  |  Vertex AI Agent Builder  |  Google Cloud

Vertex AI Searchでクエリに関係性の高い回答のみを表示できるように

結果がクエリにどの程度関連しているかを評価し、十分に関連性があると判断された結果がない場合は、「We do not have a summary for your query.」のようにフォールバック回答を返すことを選択できるようになりました。

• Get answers and follow-ups  |  Vertex AI Agent Builder  |  Google Cloud

クエリに関連性が高い回答のみフィルタして表示する機能もプレビューで提供開始されました。

• Filter searches by document-level relevance  |  Vertex AI Agent Builder  |  Google Cloud

Vertex AI Searchで構造化データを使用してインデックスを強化できる機能がプレビュー

高度なWebサイトインデックス作成が有効になっているデータストアで、構造化データを使用してインデックスを強化できる機能がプレビュー提供されました。

• Use structured data for advanced website indexing  |  Vertex AI Agent Builder  |  Google Cloud

Vertex AI Searchでオートコンプリートに関する設定が追加

自動補完をできるだけ早く有効にする選択肢が登場したようです。

• Configure autocomplete  |  Vertex AI Agent Builder  |  Google Cloud

Vertex AI Searchでメディアデータの品質チェックがプレビュー

メディア推薦で、メディアデータの品質チェックを行うAPIがプレビュー提供されました。

• Check data quality for media recommendations  |  Vertex AI Agent Builder  |  Google Cloud

Vertex AI SearchがBigQueryデータセットに接続できるように（プレビュー）

プレビュー提供で、BigQueryのデータをVertex AI Searchで利用できるようになったようです。

• Create a search data store  |  Vertex AI Agent Builder  |  Google Cloud

Vertex AI Searchのヘルスケア向け機能で自然言語による検索が一般提供開始に

自然言語による検索と生成AIによる回答生成が一般提供開始しました。

• Search healthcare data  |  Vertex AI Agent Builder  |  Google Cloud

Generative AI on Vertex AIのアップデート

生成結果の制御機能がプレビュー開始

モデルによって生成された出力が常に特定のスキーマに準拠することを保証するための機能がプレビュー提供で登場したようです。

応答スキーマを定義することで、スキーマを指定できるようです。Gemini 1.5 Proのみでサポートしています。

• Control generated output  |  Generative AI on Vertex AI  |  Google Cloud

コンテキストキャッシュがプレビュー

Gemini 1.5 Proで、入力トークン数が多い繰り返しコンテンツを含むリクエストのコストを削減するためのコンテキストキャッシュがプレビュー提供開始しました。

• Context caching overview  |  Generative AI on Vertex AI  |  Google Cloud

ログイン不要のVertex AIスタジオ

Vertex AIスタジオマルチモデルプロンプトデザイナーがログインなしでアクセスできるようになったそうです。

• Generative AI introduction  |  Generative AI on Vertex AI  |  Google Cloud

モデルガーデンで新しいモデルがサポート

Anthropic Claude Sonnet 3.5がモデルガーデンでサポートされました。

また、Hugging Faceの36のエンベディングモデルや、PyTorchモデルなどもサポートされました。

Vertex AIのアップデート

Vertex AI AutoMLのテキスト向けモデルで廃止となる機能のアナウンス

2024年9月15日以降は、分類・エンティティ抽出・感情分析はVertex AIのGeminiからのみカスタマイズ可能となり、Vertex AI AutoMLのテキスト向けモデルからは利用できなくなるようです。現在あるVertex AI AutoMLのテキスト向けモデルは2025年6月15日まで利用できるということで、移行の必要がある方はぜひご確認ください。

BigQueryのアップデート

ML.GENERATE_EMBEDDING関数で出力の次元指定ができるように

output_dimensionality引数で出力の次元指定ができるようになりました。以下のガイドをご確認ください。

• Generate text embeddings by using the ML.GENERATE_EMBEDDING function  |  BigQuery  |  Google Cloud

Geminiの一部モデルの教師ありチューニングができるように

プレビューでgemini-1.0-pro-002に基づくリモートモデルの教師ありチューニングができるようになりました。BigQuery DataFrames Python APIからも利用可能だそうです。

• Tune a model using your data  |  BigQuery  |  Google Cloud

イベント・サービス情報

相談会

クラスメソッドのアナリティクス分野の支援では、AWS、Google Cloudを中心としたクラウド上でのデータ分析基盤環境づくりにおいてトータルでサポートしています。

このようなことでお困りではないですか？

企業内に点在するデータを1箇所にまとめて分析したい クラウド上で分析基盤を導入したい・・・ データを活用したいが、具体的に何から始めたらいいかわからない 機械学習相談会のお申込みはこちらです。お気軽にご相談ください。

• 機械学習相談会 | クラスメソッド株式会社

データ分析相談会のお申込みはこちらです。

• データ分析相談会 | クラスメソッド株式会社

機械学習システム導入支援サービスについて

AWSやGoogle Cloudなどパブリッククラウドにて、機械学習サービスを活用したシステムの導入支援を行います。詳しくは以下のページをご覧ください。

• 機械学習モデル活用 | サービス | クラスメソッド株式会社

例えば以下のようなケースをご支援しています。

• ECサイトのレコメンドシステムを構築し、利用者にパーソナライズされたおすすめ商品を提示する
• SNSや問い合わせのログなどから、テキストマイニングを活用したインサイトの発見する
• 画像解析により、工場における不良品検出や農業・畜産業分野での生育管理を効率化する
• 売上や消費者の行動などから、将来の需要を予測する

最後に

2024年6月に発表された、AWSとGoogle CloudのML機能のアップデートについて、メンバーでピックアップした情報についてご紹介しました。

データアナリティクス通信(機械学習編) - 2024年7月号は以上です。