こんちには。
データアナリティクス事業本部 機械学習チームの中村です。
AWS re:Invent 2023で連日様々なアップデートが出ていますね。その中で「Amazon Bedrock関連のアップデート多すぎ…」となっていないでしょうか。
ということで、そろそろBedrock関連は出そろい始めたと思いますので本記事ではAmazon Bedrockに関するアップデートをまとめていきます。
Bedrock全般への機能追加
ここではBedrockの全般に関わる機能追加を紹介いたします。
Knowledge Bases for Amazon BedrockがGA
こちらはAWS環境でフルマネージドにRAG（ユーザ独自の文書を元にしたチャット機能）を構築する機能です。
元々プレビューではあったのですが、今回GAとなったことにより全ユーザーが使用可能となっています。
データソースとしてはS3、ベクターストアとしてOpenSearch Serverlessが使用されます。
ベクターストアには既存のリソースも指定可能となっており、今はすくないですが、ベクターストア自体に対応するサービスはたくさん発表されましたので、今後指定可能なものが拡大すると良いなと思っています。
- 公式
- 弊社ブログ
Agents for Amazon BedrockがGA
こちらはより高度なタスクを自律的に実行するエージェントを構築する機能です。
Knowledge Basesと同様に、元々プレビューではあったのですが、今回GAとなったことにより全ユーザーが使用可能となっています。
Agentが実行可能なActionをいくつか指定可能で、それぞれのActionのスキーマを定義し、実行するLambdaを定義することでアクションを実行しながら与えられたタスクを自律的に実行していきます。
Action以外にもKnowledge Basesを指定することも可能となっています。
ActionやKnowledge Baseのdescriptionをみつつ、Agentが自律的に次にとるべき行動を判断していると考えられます。
- 公式
- 弊社ブログ
Guardrails for Amazon BedrockがPreview
こちらは生成AIを使用する際にガードレールを構築することができる機能です。
有害なコンテンツや個人情報などをブロックしたりする機能となっており、エンタープライズ用途でニーズがある機能だと思います。
Llimited Previewとなっており、まだすべてのユーザが使用可能ではないようですのでご留意ください（私もまだコンソールから触れませんでした）。
- 公式
- 弊社ブログ
Model Evaluation機能がPreview
こちらは、ユースケースに最適な基盤モデルを評価、比較、選択するための機能です。
正確性、堅牢性、毒性などの事前に定義されたメトリクスで自動評価を実施することができます。
またそれだけでなく人手による評価のワークフローを構築することができる機能となっています。
こちらは随時検証をしていきたいと思います。
- 公式
バッチ推論を提供
こちらはAmazon Bedrockでバッチ推論を実行可能にするアップデートです。
バッチ推論用のAPIを実行することで使用可能で、埋め込みベクトルを大量に生成したい場合などにも有効に効いてくる機能と考えられます。料金についてはオンデマンドの料金に準じているようです。
こちらは検証を随時していきたいと思います。
Bedrockへのモデル追加
Bedrockへのモデル追加も多数ありました。
新規追加、より大規模版の追加、バージョンアップなど様々な形でアップデートされています。
Pricingの詳細は公式をご確認ください。
テキストモデル
テキストモデルとしてはTitan Lite、Titan Express、Claude 2.1、Llama 2 70BがGAとなっています。
TitanはExpressが多言語対応していますが、英語以外はPreviewという扱いとなっています。（Liteは英語のみ） トークン数はExpressが8k、Liteが4kとなっていました。
Claude元々から日本語対応してましたので、2.1も対応していると考えらえます。
Llama 2 70BはChat版と普通版がありますが、どちらも英語のみに対応しています。トークン数は4096となります。
- Amazon Titan Text modelsがGA
- Amazon Titan Text models—Express and Lite—now generally available in Amazon Bedrock
- Amazon Titan Image Generator, Multimodal Embeddings, and Text models are now available in Amazon Bedrock | AWS News Blog
- [速報]基盤モデル「Amazon Titan」に新シリーズ「Amazon Titan Text Lite」「Amazon Titan Text Express」がリリース #AWSreinvent | DevelopersIO
- Claude 2.1 foundation modelがGA
- Llama 2 70B foundation modelがGA
画像生成モデル
画像生成モデルとしてはTitan Image Generatorが新しいモデルとしてプレビューとなりました。また、Stable Diffusion XL 1.0もGAとなっています。
Titan Image Generatorは編集箇所を指定しつつ、編集を行える点も特徴となっています。より柔軟な画像生成が期待できそうです。 また「目に見えない透かし」を含むことでフェイク画像が拡散されるのを防ぐ仕組みも組み込まれており、こちらも興味深い点となります。
- Amazon Titan Image Generatorがプレビュー
- Amazon Titan Image Generator foundation model in Amazon Bedrock now available in preview
- Amazon Titan Image Generator, Multimodal Embeddings, and Text models are now available in Amazon Bedrock | AWS News Blog
- [速報] Amazon Titan から 画像の生成・編集が可能な Amazon Titan Image Generator のプレビューでの提供が発表されました #AWSreInvent | DevelopersIO
- Stable Diffusion XL 1.0がGA
埋め込みベクトルモデル
埋め込みベクトルのモデルとしては、画像入力にも対応したTitan Multimodal EmbeddingsがGAとなりました。
こちらは「テキスト」、「画像」、「テキスト＋画像」の３種類の入力に対応し、1024次元の埋め込みベクトルを生成することが可能です。
このベクトルをベクターストアなどに格納することで、「テキスト」、「画像」、「テキスト＋画像」の３種類を相互にクエリして結果を得るなどが可能となります。
入力できるトークン数は128 tokensと少ないためご注意ください。また、Titan Embeddingsと異なり日本語には対応していません。
- Amazon Titan Multimodal EmbeddingsがGA
- Amazon Titan Multimodal Embeddings foundation model now generally available in Amazon Bedrock
- Amazon Titan Image Generator, Multimodal Embeddings, and Text models are now available in Amazon Bedrock | AWS News Blog
- [新機能]Amazon BedrockでAWSの新しい埋め込みモデル「Titan Multimodal Embeddings G1」が発表されました #AWSreInvent | DevelopersIO
Bedrockのチューニング機能
チューニング機能としては、Fine-tuningへの対応の増加や、新しいチューニング方式としてContinued pre-trainingというものがPreviewとして発表されました。
Pricingの詳細は公式をご確認ください。
Fine-tuningに対応するモデルが追加
Llama 2とCohere、そしてTitanがFine-tuningに対応しました。TitanはLite、Express、Image Generator、Multimodal EmbeddingsまでFine-tuningに対応しています。 （A21 Jurassic、Claudeはまだ未対応）
またFine-tuningしたモデルはそもそもProvisioned Throughputでデプロイする必要がありますので、これに伴ってProvisioned ThroughputはTitan、Claude（Fine-tuningは未対応）、Cohere、Llama 2で利用可能となりました。
Inferences using customized models are charged under the Provisioned Throughput plan and requires you purchase Provisioned Throughput.
Provisioned Throughputをコミットメント期間無しで利用できるのは一部のみ（Titanのみ）であるため注意が必要です。Titan以外を使用する場合はまとまった料金が必要となります。
日本語対応という意味では、Titan Express（ただし英語以外はプレビュー）のみがFine-tuningに対応している形となります。
- 公式
- 弊社ブログ
Continued pre-trainingがPreview
ここまでご紹介したFine-tuningは学習データ、つまり入力（Prompt）と出力（Completion）のペアが必要でした。
Continued pre-trainingはこれを入力のみを与えることで学習を可能にする機能となっています。
内部的な仕組みは不明ですが、要するに専門用語などを含むまとまったテキストデータを準備しておけば、そのデータから生成AIを使って入力（Prompt）と出力（Completion）のペアを自動で生成し、それを元に学習するような仕組みではないかと予想されます。 まとまったテキストデータをどういった単位で分割すればよいのか、チャットに使われるクエリに似ている必要があるのかは、検証の余地がありそうです。
最大100,000件のレコードを指定することができ、通常は少なくとも10億のトークンを提供した後に良い結果が得られるとのことです。
また必要であれば、ジョブ実行時にエポック数、バッチ数、学習係数などのハイパーパラメータを調整することもできます。
デプロイするためには、Fine-tuningと同様にProvisioned Throughputを購入する必要がありますのでご留意ください。
- 公式
- 弊社ブログ
その他のアップデート
PartyRockの新しいアプリケーションのDiscoverページを発表
こちらは先日公開されていたBedrockのプレイグラウンドであるPartyRockで、誰かが作成したアプリケーションを見つけるページが追加された形となります。
- 公式
- 弊社ブログ
Step Functionsとの統合
こちらはStep Functionsとの統合で、Bedrock用に最適化された2つの新しいAPIアクションがAWS Step Functionsに追加されています。
- 公式
- 弊社ブログ
Lexのボット作成の自動化
Lexのサンプル発話やインテント、スロットなどがClaude V2で自動生成できるような機能が公開され、日付などの扱いが生成AIにより精度向上されています。
- 公式
- 弊社ブログ
セッションレポート
その他、弊社社員のセッションレポートも続々と上がってきているようです。こちらはこれからも増えていくと思うので良ければご確認ください。
- [レポート]Amazon Bedrockでチャットアシスタントを構築する #AIM329-R #AWSreInvent | DevelopersIO
- AIM352 Securely build generative AI apps and control data with Amazon Bedrock 参加レポート #AWSreInvent | DevelopersIO
- [レポート] ビルダーズセッション Build a chat assistant with Amazon Bedrock を受講してきた #AIM329 #AWSreinvent | DevelopersIO
- [レポート]ワークショップ「AWS AI/ML and generative AI workshop for telcos」に参加してAWSの提供するAIサービスであるAmazon Bedrockについて学んできた #AWSreInvent | DevelopersIO
- Bedrockを使ったアプリケーションがどのように社会に貢献するかをがん治療を例に学んできた #AWSreInvent | DevelopersIO
- Amazon Bedrockの生成AI機能を通販サイトに組み込むワークショップに参加してみた | DevelopersIO
まとめ
AWS re:Invent 2023の期間中に発表されたAmazon Bedrockのアップデートについてご紹介しました。
この後にも何か発表されれば追記していきたいと思います。
14
