Amazon Bedrock で Meta Llama 3.3 70B が利用可能になりました

こんにちは、森田です。

以下のアップデートで Amazon Bedrock において Meta Llama 3.3 70B が利用可能になりました。

https://aws.amazon.com/about-aws/whats-new/2024/12/metas-llama-3-3-70b-model-amazon-bedrock/

Llama 3.3 70B について

Llama 3.3 70B は、Meta社が2024年12月6日にリリースした新しい LLM モデルとなっています。

このモデルの特徴としては以下の通りです。

• 従来の Llama 3.1 70B, 3.2 90B と比較してパフォーマンスが向上
  • Llama 3.1 405B と同等のパフォーマンスが期待できる
• 事前学習モデルの提供
  • 合成データの作成、蒸留など
• テキスト入力・出力タスクで利用可能
• 70Bのため軽量モデル

詳しくは以下のMODEL_CARD.mdをご参照ください。

https://github.com/meta-llama/llama-models/blob/main/models/llama3_3/MODEL_CARD.md

他モデルとの比較

Amazon Nova Pro に近いパフォーマンスが期待できるようです。

https://x.com/AIatMeta/status/1865079067390956006

Amazon Bedrock でのサポート

料金

比較のため、Amazon Nova Proも表にしています。

料金は、Llama 3.3 の方が安いですね。

特に、出力トークンあたりの料金は Llama 3.3 の方が 約78% コストを抑えることができそうです。

リージョン

オハイオ（us-east-2）リージョンで利用可能です。

クロスリージョン推論を使って、バージニア（us-east-1）、オレゴン（us-west-2）でも利用可能です。

蒸留

モデル蒸留（Model Distillation）は対応していないようでした。

https://docs.aws.amazon.com/bedrock/latest/userguide/model-distillation-supported.html

ユースケースの1つとして記載されているため、今後の対応が期待できます。

やってみる

モデルの有効化

今回は、オハイオ（us-east-2）リージョンでモデルの有効化を行います。

https://us-east-2.console.aws.amazon.com/bedrock/home?region=us-east-2#/modelaccess

プレイグラウンド

「Text playground」でLlama 3.3 70B Instructを選択して以下のプロンプトを入力します。

Alice has N brothers and she also has M sisters. How many sisters does Alice’s brothers have?

問題なく回答を得ることができました。

Since Alice has M sisters, and each of her brothers is also a sibling of those M sisters, each brother has M sisters. 

However, we must also consider that Alice is a sister to her brothers. So, in addition to the M sisters, each brother also has Alice as a sister. 

Therefore, the total number of sisters each brother has is M (the sisters) + 1 (Alice) = M + 1.

Since there are N brothers, and each brother has M + 1 sisters, the total number of sisters that Alice's brothers have is N * (M + 1). But the question is asking for the number of sisters each brother has, not the total number of sister-brother pairs.

So, each of Alice's brothers has M + 1 sisters.

回答結果も正しそうですね。

APIから実行

Converse APIに対応しているため、モデルIDを変えるだけで実行可能です。

• モデルID : meta.llama3-3-70b-instruct-v1:0

import boto3

client = boto3.client("bedrock-runtime", region_name="us-east-2")
modelId = 'meta.llama3-3-70b-instruct-v1:0'

prompt = "Alice has N brothers and she also has M sisters. How many sisters does Alice’s brothers have?"

messages = [
    {
        "role": "user",
        "content": [{"text": prompt}],
    }
]

inferenceConfig = {
    "temperature": 0.1,
    "topP": 0.9,
    "maxTokens": 500,
    "stopSequences":[]
}

response = client.converse(
    modelId=modelId ,
    messages=messages,
    inferenceConfig=inferenceConfig
)

print(response["output"]["message"]["content"][0]["text"])

さいごに

先日 Meta 社から発表されたモデルが Amazon Bedrock でも利用できるようになりました。

軽量かつコストも比較的安いため、今後様々なタスクで活用できそうなモデルです。