[レポート] NVIDIA Nemotronを活用してRAGエージェントシステムをAmazon EKS上に構築しました #API324 #AWSreInvent

こんにちは、クラウド事業本部 コンサルティング部の荒平(@eiraces)です。
AWS re:Invent 2025では現地参加しています。

本エントリでは、参加したWorkshopセッション「Blueprint to Deployment: RAG Agent Systems on Amazon EKS with NVIDIA Nemotron (sponsored by NVIDIA)」について紹介します。

セッション概要

This hands-on workshop guides participants through deploying and scaling Retrieval-Augmented Generation (RAG) agent systems using NVIDIA Nemotron models on Amazon EKS. Attendees will gain practical experience with the NVIDIA RAG agent blueprint to build advanced, scalable AI solutions optimized for real-world applications on AWS cloud infrastructure. The session focuses on end-to-end deployment, best practices for scaling, and leveraging EKS for efficient management of AI-driven agentic systems. This presentation is brought to you by NVIDIA, an AWS Partner.

（機械翻訳）

この実践的なワークショップでは、参加者の皆様が、Amazon EKS 上で NVIDIA Nemotron モデルを使用して、Retrieval-Augmented Generation (RAG) エージェントシステムをデプロイし、スケーリングする方法を学びます。

NVIDIA RAG エージェントのブループリントを活用し、AWS クラウドインフラストラクチャ上で、実際のアプリケーションに最適化された高度でスケーラブルな AI ソリューションを構築する実践的な経験を得ることができます。

このセッションでは、エンドツーエンドのデプロイ、スケーリングのためのベストプラクティス、そして AI 駆動型エージェントシステムの効率的な管理のための EKS の活用に焦点を当てます。

本プレゼンテーションは、AWS パートナーである NVIDIA が提供します。

スピーカー

• Dimitri Maltezakis Vathypetrou - Developer Relations, NVIDIA

レベル

• 300 – Advanced

セッション内容

アカウント作成

セッションの解説が始まる前に指示があり、まずは配布された手順に沿ってNVIDIAのCloud Accountを作成しました。

アカウントを作成すると、llamaなどの基盤モデル一覧がお出迎えしてくれます。
Nemotron(後述)によって安全性が高い、オープンなモデルが画面上で体験できます。

NVIDIA NIMについて

NIMはNVIDIAにおける生成AIの推論を高速化・効率化するためのマイクロサービス群を指しています。
NVIDIAは包括的な技術スタックを持っており、エンタープライズ企業は勿論、個人でも最先端技術を試すことが可能です。

公式サイトはこちら

https://www.nvidia.com/ja-jp/ai-data-science/products/nim-microservices/

NIMは160-170種類のマイクロサービスを持っており、様々な業界・用途に対応できるようになっています。
しかしながら一貫性のあるAPIを提供しており、開発者フレンドリーと言えます。

NVIDIA Nemotron

NemotronはNVIDIAがエージェント型AIを構築できるようにするオープン モデル、データセット、テクノロジーのファミリーを指しています。

信頼性の高い、高性能な AI エージェントを簡単に作成・デプロイできると謳っています。

https://www.nvidia.com/ja-jp/ai-data-science/foundation-models/nemotron/

これらのNVIDIA NIM, NemotronはAWSと深い関係があり、SageMakerやEKSなど複数サービスと連携しているほか、AWS MarketplaceでもNVIDIA AI Enterpriseとしてネイティブに提供しています。

ハンズオン開始！

ハンズオンで示されたURLにアクセスすると、今回のワークショップ（RAG Blueprint on EKS）が登場しました。

GPUのパワーを感じながらEKSにRAGを構築していきます。

詳細の手順は割愛しますが、AWS環境はNVIDIA提供で手順書を見ながら進めるスタイルです。

今回構築したRAG Pipelineです。緑の六角形がNIMで本当に多様な機能を持っていることが分かります。

What You'll Learnに書いてある通りですが、このセッションを通じて以下のことが学べます。

• NVIDIA NIMマイクロサービスを使用して、LLM、エンベディング、リトリーバー（検索）などのマイクロサービスを含む完全なRAGパイプラインを、EKSクラスター上にデプロイする方法
• 埋め込み表現を効率的に保存・検索するために、RAGパイプラインをMilvusベクトルストアに接続する方法
• デプロイされたNIMとシームレスに連携するための、NVIDIA LangChainラッパーの使い方
• 最適なパフォーマンスとリソース利用率を確保するために、Kubernetesの機能を活用してRAGパイプラインを管理、監視（モニタリング）、およびスケーリングする手法

手順を進めていくと、EKSノードが既に立ち上がっていることが確認できます。

$ kubectl get nodes -o wide

NAME                                           STATUS   ROLES    AGE   VERSION               INTERNAL-IP      EXTERNAL-IP   OS-IMAGE         KERNEL-VERSION                  CONTAINER-RUNTIME
ip-192-168-76-217.us-east-2.compute.internal   Ready    <none>   19h   v1.32.9-eks-ecaa3a6   192.168.76.217   xxx.145.83.80   Amazon Linux 2   5.10.245-241.978.amzn2.x86_64   containerd://1.7.29

なんと、p5.48xlargeが立っていました。太っ腹ですね！（1時間あたり約55ドル掛かります）

イメージのダウンロード、ポッドの起動待ち、モデルの読み込みなど30分ほど掛かりましたが、無事に起動しました。
RAG Blueprint自体はGitHubで公開されているようで、誰でも試すことができます。

PDFを1つ読み込ませてから What are the main topics covered in this document?と聞いてみました。
（画面右上、1通目はPDF読み込み前）

しっかりアップロードしたデータから内容を引き出せています。本当に簡単にRAGが作れる時代になりましたね。

回答について、ソースを表示することができます。
ハルシネーションしていないか確認のためPDFのどの部分を見て参照したか、スコアリングと共に教えてくれます。

おわりに

NVIDIAの生成AIサービス群を全く知らない状態で参加したのですが、学びが多くて面白いセッションでした。
今回触れたNIMやNemotron以外にもAIを支える技術が揃っており、組み合わせることで特殊な個別の要件があったとしても、満たすことができそうです。

このエントリが誰かの助けになれば幸いです。
それでは、クラウド事業本部 コンサルティング部の荒平がお送りしました！

ちなみに（余談）

セッション参加記念として、Tシャツを頂きました。CEOの顔がプリントされてて最高です。

https://x.com/eiraces/status/1996031338890350790?s=20