Meta の Llama 3.1 が Amazon Bedrock で利用可能になりました

Meta の Llama 3.1 が Amazon Bedrock で利用可能になりました

Clock Icon2024.07.24

こんにちは、森田です。

Meta 社から Llama 3.1 405B が発表されました。

https://ai.meta.com/blog/meta-llama-3-1/

上記記事にもありますが、パートナーが初日からサービスを提供するということで、さっそくAWSでも利用可能になりました!

https://aws.amazon.com/about-aws/whats-new/2024/07/meta-llama-3-1-generative-ai-models-amazon-bedrock/

Meta Llama 3.1

Llama 3.1 405B では、一般知識、数学、多言語翻訳など様々なタスクでトップクラスのパフォーマンスが期待できるモデルとなっています。

実際の評価結果としても、GPT-4、GPT-4o、Claude 3.5 Sonnetなどとも遜色ないパフォーマンスであるとされています。
詳しくは以下をご参照ください。
https://ai.meta.com/blog/meta-llama-3-1/

Llama 3.1 のラインナップとしては、405Bのほか、8B、70Bが展開されています。

405Bの発表のタイミングで、8B、70Bモデルも強化されており、これらのモデルがAWSでも利用可能となります。

AWS での提供

Llama 3.1 モデルは、米国西部 (オレゴン) リージョンで利用できます。

なお、Llama 3.1 405B については、アクセス申請が必要ですぐに利用はできないようでした。

To request to be considered for access to the preview of Llama 3.1 405B in Amazon Bedrock,
contact your AWS account team or submit a support ticket via the AWS Management Console.

やってみた

モデルの有効化

以下のURLからモデルの有効化を行います。

https://us-west-2.console.aws.amazon.com/bedrock/home?region=us-west-2#/modelaccess

米国西部 (オレゴン) リージョンのみでの公開となるため、ご注意ください。

スクリーンショット 2024-07-24 2.52.36

Converse API での実行

Llama 3.1 は、Converse API が使えるので、モデルIDを変えるだけで実行できそうです。

https://docs.aws.amazon.com/bedrock/latest/userguide/conversation-inference.html

https://dev.classmethod.jp/articles/amazon-bedrock-converse-api/

では、実際に70Bモデルを使って実行してみます。

70Bモデル
import boto3

client = boto3.client("bedrock-runtime", region_name="us-west-2")

modelId = 'meta.llama3-1-70b-instruct-v1:0'

prompt = "クラスメソッド株式会社について教えて"

messages = [
    {
        "role": "user",
        "content": [{"text": prompt}],
    }
]

inferenceConfig = {
    "temperature": 0.1,
    "topP": 0.9,
    "maxTokens": 500,
    "stopSequences":[]
}

response = client.converse(
    modelId=modelId ,
    messages=messages,
    inferenceConfig=inferenceConfig
)

print(response["output"]["message"]["content"][0]["text"])
実行結果
クラスメソッド株式会社は、東京都渋谷区に本社を置く日本のIT企業です。1999年に設立され、主にシステムインテグレーション、クラウドコンピューティング、AI、IoTなどの分野でサービスを提供しています。

クラスメソッドは、以下のようなサービスを提供しています。

1. システムインテグレーション:企業のシステムを統合し、効率化するためのコンサルティングと開発サービス。
2. クラウドコンピューティング:AWS、Azure、Google Cloud Platformなどのクラウドサービスを活用したインフラ構築と運用サービス。
3. AI:AIを活用したビジネスソリューションの開発とコンサルティングサービス。
4. IoT:IoTデバイスの開発とシステム統合サービス。
5. セキュリティ:サイバーセキュリティ対策サービス。

クラスメソッドは、多くの大手企業や政府機関と提携し、幅広い業界でサービスを提供しています。また、自社開発のAIプラットフォーム「クラスメソッドAI」やIoTプラットフォーム「クラスメソッドIoT」などの独自技術も持っています。

クラスメソッドの特徴としては、以下のような点が挙げられます:

* 多様な技術スタック:クラスメソッドは、幅広い技術スタックを取り扱っており、企業のニーズに合わせたサービスを提供できます。
* 高度な技術力:クラスメソッドは、高度な技術力を持ち、複雑なシステムの開発やAI、IoTなどの先端技術の活用を支援できます。
* 大手企業との提携:クラスメソッドは、多くの大手企業や政府機関と提携し、信頼性の高いサービスを提供できます。

以上がクラスメソッド株式会社についての概要です。

上記の通り、問題なく実行結果が返ってきました。

プレイグラウンド

もちろん、コンソールのプレイグラウンドでも試すことができます。

スクリーンショット 2024-07-24 3.36.13

さいごに

現在 Llama 3.1 405B はすぐにアクセスはできないので、今後のAWSでの公式リリースが待ち遠しいです。

一方で、Llama 3.1 8B、70B については、すぐに試すことができるので、ぜひチェックしてみてください。

Share this article

facebook logohatena logotwitter logo

© Classmethod, Inc. All rights reserved.