AWS re:Invent 2023で発表されたAmazon Bedrock関連のアップデートをまとめてみた #AWSreInvent

AWS re:Invent 2023

#機械学習

#LLM

#Amazon Bedrock

nokomoro3

2023.11.30

こんちには。

データアナリティクス事業本部機械学習チームの中村です。

AWS re:Invent 2023で連日様々なアップデートが出ていますね。その中で「Amazon Bedrock関連のアップデート多すぎ…」となっていないでしょうか。

ということで、そろそろBedrock関連は出そろい始めたと思いますので本記事ではAmazon Bedrockに関するアップデートをまとめていきます。

Bedrock全般への機能追加

ここではBedrockの全般に関わる機能追加を紹介いたします。

Knowledge Bases for Amazon BedrockがGA

こちらはAWS環境でフルマネージドにRAG（ユーザ独自の文書を元にしたチャット機能）を構築する機能です。

元々プレビューではあったのですが、今回GAとなったことにより全ユーザーが使用可能となっています。

データソースとしてはS3、ベクターストアとしてOpenSearch Serverlessが使用されます。

ベクターストアには既存のリソースも指定可能となっており、今はすくないですが、ベクターストア自体に対応するサービスはたくさん発表されましたので、今後指定可能なものが拡大すると良いなと思っています。

Agents for Amazon BedrockがGA

こちらはより高度なタスクを自律的に実行するエージェントを構築する機能です。

Knowledge Basesと同様に、元々プレビューではあったのですが、今回GAとなったことにより全ユーザーが使用可能となっています。

Agentが実行可能なActionをいくつか指定可能で、それぞれのActionのスキーマを定義し、実行するLambdaを定義することでアクションを実行しながら与えられたタスクを自律的に実行していきます。

Action以外にもKnowledge Basesを指定することも可能となっています。

ActionやKnowledge Baseのdescriptionをみつつ、Agentが自律的に次にとるべき行動を判断していると考えられます。

Guardrails for Amazon BedrockがPreview

こちらは生成AIを使用する際にガードレールを構築することができる機能です。

有害なコンテンツや個人情報などをブロックしたりする機能となっており、エンタープライズ用途でニーズがある機能だと思います。

Llimited Previewとなっており、まだすべてのユーザが使用可能ではないようですのでご留意ください（私もまだコンソールから触れませんでした）。

Model Evaluation機能がPreview

こちらは、ユースケースに最適な基盤モデルを評価、比較、選択するための機能です。

正確性、堅牢性、毒性などの事前に定義されたメトリクスで自動評価を実施することができます。

またそれだけでなく人手による評価のワークフローを構築することができる機能となっています。

こちらは随時検証をしていきたいと思います。

公式
- Evaluate, compare, and select the best FMs for your use case in Amazon Bedrock (Preview)
- Evaluate, compare, and select the best foundation models for your use case in Amazon Bedrock (preview) | AWS News Blog

バッチ推論を提供

こちらはAmazon Bedrockでバッチ推論を実行可能にするアップデートです。

バッチ推論用のAPIを実行することで使用可能で、埋め込みベクトルを大量に生成したい場合などにも有効に効いてくる機能と考えられます。料金についてはオンデマンドの料金に準じているようです。

こちらは検証を随時していきたいと思います。

公式
- Amazon Bedrock now supports batch inference

Bedrockへのモデル追加

Bedrockへのモデル追加も多数ありました。

新規追加、より大規模版の追加、バージョンアップなど様々な形でアップデートされています。

Pricingの詳細は公式をご確認ください。

Build Generative AI Applications with Foundation Models - Amazon Bedrock Pricing - AWS

テキストモデル

テキストモデルとしてはTitan Lite、Titan Express、Claude 2.1、Llama 2 70BがGAとなっています。

TitanはExpressが多言語対応していますが、英語以外はPreviewという扱いとなっています。（Liteは英語のみ）トークン数はExpressが8k、Liteが4kとなっていました。

Claude元々から日本語対応してましたので、2.1も対応していると考えらえます。

Llama 2 70BはChat版と普通版がありますが、どちらも英語のみに対応しています。トークン数は4096となります。

画像生成モデル

画像生成モデルとしてはTitan Image Generatorが新しいモデルとしてプレビューとなりました。また、Stable Diffusion XL 1.0もGAとなっています。

Titan Image Generatorは編集箇所を指定しつつ、編集を行える点も特徴となっています。より柔軟な画像生成が期待できそうです。また「目に見えない透かし」を含むことでフェイク画像が拡散されるのを防ぐ仕組みも組み込まれており、こちらも興味深い点となります。

埋め込みベクトルモデル

埋め込みベクトルのモデルとしては、画像入力にも対応したTitan Multimodal EmbeddingsがGAとなりました。

こちらは「テキスト」、「画像」、「テキスト＋画像」の３種類の入力に対応し、1024次元の埋め込みベクトルを生成することが可能です。

このベクトルをベクターストアなどに格納することで、「テキスト」、「画像」、「テキスト＋画像」の３種類を相互にクエリして結果を得るなどが可能となります。

入力できるトークン数は128 tokensと少ないためご注意ください。また、Titan Embeddingsと異なり日本語には対応していません。

Amazon Titan Multimodal EmbeddingsがGA

Bedrockのチューニング機能

チューニング機能としては、Fine-tuningへの対応の増加や、新しいチューニング方式としてContinued pre-trainingというものがPreviewとして発表されました。

Pricingの詳細は公式をご確認ください。

Build Generative AI Applications with Foundation Models - Amazon Bedrock Pricing - AWS

Fine-tuningに対応するモデルが追加

Llama 2とCohere、そしてTitanがFine-tuningに対応しました。TitanはLite、Express、Image Generator、Multimodal EmbeddingsまでFine-tuningに対応しています。（A21 Jurassic、Claudeはまだ未対応）

またFine-tuningしたモデルはそもそもProvisioned Throughputでデプロイする必要がありますので、これに伴ってProvisioned ThroughputはTitan、Claude（Fine-tuningは未対応）、Cohere、Llama 2で利用可能となりました。

Inferences using customized models are charged under the Provisioned Throughput plan and requires you purchase Provisioned Throughput.

Provisioned Throughputをコミットメント期間無しで利用できるのは一部のみ（Titanのみ）であるため注意が必要です。Titan以外を使用する場合はまとまった料金が必要となります。

日本語対応という意味では、Titan Express（ただし英語以外はプレビュー）のみがFine-tuningに対応している形となります。

Continued pre-trainingがPreview

ここまでご紹介したFine-tuningは学習データ、つまり入力（Prompt）と出力（Completion）のペアが必要でした。

Continued pre-trainingはこれを入力のみを与えることで学習を可能にする機能となっています。

内部的な仕組みは不明ですが、要するに専門用語などを含むまとまったテキストデータを準備しておけば、そのデータから生成AIを使って入力（Prompt）と出力（Completion）のペアを自動で生成し、それを元に学習するような仕組みではないかと予想されます。まとまったテキストデータをどういった単位で分割すればよいのか、チャットに使われるクエリに似ている必要があるのかは、検証の余地がありそうです。

最大100,000件のレコードを指定することができ、通常は少なくとも10億のトークンを提供した後に良い結果が得られるとのことです。

また必要であれば、ジョブ実行時にエポック数、バッチ数、学習係数などのハイパーパラメータを調整することもできます。

デプロイするためには、Fine-tuningと同様にProvisioned Throughputを購入する必要がありますのでご留意ください。