【書評】 「Amazon Bedrock実践ガイド」を読みながらRAGの精度改善をしてみた
はじめに
今回は同僚の神野さんが執筆した「Amazon Bedrock実践ガイド 〜RAGとAIエージェントで進める業務効率化」を発売前に読ませてもらったので書評を書きたいと思います。
私もこの本を読みながら、実際にRAGの改善に取り組みました。ありがとう、神野さん！
その中で感じたことも交えて、この本を紹介したいと思います。
書籍情報
- 書名: Amazon Bedrock実践ガイド 〜RAGとAIエージェントで進める業務効率化
- 著者: 神野雄大
- 出版社: 技術評論社
- 発売日: 2026年11月4日
- 定価: 3,300円（税込）
- ページ数: 352ページ
どんな本？
みなさん、RAGを構築したことはありますか？？
社内のドキュメントなんかをもとに回答してくれるので便利ですよね。
しかし、いざ作ってみると期待した回答が返ってこなくて、どうやって改善すればいいか分からないことがあります。
この本はそんな悩みに寄り添ってくれるような本になっています。
この本では架空のSaaS事業者の問い合わせ対応を題材に、章を進めるごとにRAGが育っていく構成になっています。
すでにRAGを構築している人はピンポイントで気になる章だけ読んでも参考になると思います。
RAGを動かすところまでは作れたけど、その先の精度や運用で手が止まっている方には、ちょうど知りたいことが書いてある本だと思います。
RAG構築の後は、Amazon Bedrock AgentCoreを使った品質評価、改善サイクルなど本番環境でRAGを育てる仕組みも書かれています。
試して終わりではなく、しっかり本番運用を見据えたRAG構築が学べます。
あと個人的に嬉しかったのは、全体的に図解が多くてとても読みやすかったところです。
目次
ざっくりどんなことが書いてあるか、章ごとに紹介します。
第1章 Amazon Bedrockによる業務効率化の現在地と基礎知識
生成AIの基本的な仕組みと、Amazon Bedrockを選ぶ理由や全体像を押さえる章です。
Bedrockのセキュリティや Guardrails を確認したあと、最後はAgentCore RuntimeでAIエージェントを動かしてみます。
第2章 Amazon Bedrock Knowledge Basesで始めるドキュメント活用RAGの構築
S3に置いた社内文書をKnowledge Basesで検索し、文書を根拠に回答するRAGを作る章です。
題材はサポート部門でSLAなどの問い合わせに答えられる状態を目指します。
第3章 ドキュメント活用RAGの精度を高める改善テクニック
第2章で作ったRAGをベースに、正しいFAQが上位に来ない、新旧のドキュメントが引用されるといった指摘への対処方法が書かれています。
データの前処理、チャンキング戦略など、困りごとに合わせた改善テクニックが一通り載っています。
既存のRAGでお困りごとがある人は、この章から読んでみるといいかもしれません。
私も構築したRAGの回答と、この章をにらめっこしながら、改善活動に勤しんでいました。
第4章 AIエージェントで実現する情報収集と問い合わせ対応の自動化
別のSaaSにある最新情報も参照したい、答えられなければ人に引き継ぎたい、といったRAG単体では応えられない要求をAIエージェントで実現する章です。
Amazon Bedrock AgentCoreとStrands Agentsを使い、既存APIやMCPサーバーを使い分けるAIエージェントを作ります。
第5章 RAG・AIエージェントの品質評価と改善サイクル
RAGやAIエージェントの品質を評価して、改善につなげる章です。
想定Q&A集と採点基準を作ってExcelで評価をします。
業務への取り入れやすさも考えてくれていて嬉しいですね。
第6章 本番環境で安定稼働させるための設計
本番環境で安定して運用するための設計に関する章です。
環境分離とIaC、Knowledge Basesの更新パイプラインに加え、GuardrailsやAgentCore Observabilityなどを使ったセキュリティ・監視・コスト管理まで盛りだくさんの章です。
付録
本の補足やサンプルコードが書かれたリポジトリもあるので、こちもご活用ください！
補足という割に情報量が多くて、大変お得な補足となっております。
印象に残ったこと
まずシンプルに作って原因を調べること
この本を読んで一番印象に残ったのは、最初から色々試すのではなく、まずシンプルに作ることです。
そして、期待する結果が出なければ、その原因をちゃんと調べて、原因に合った対策をとることです。
第2章でKnowledge Baseを作成するところでは、次のように書かれています。
パラメータを最初から触りたくなりますが、まずはデフォルト設定をベースに進めます。チャンキング戦略やパーサー、埋め込みモデルを最初から複雑にすると、回答がよくても悪くても、その差がどの設定に起因するのか切り分けにくくなるためです。
第3章の冒頭でも、改善テクニックを全部試す必要はないと書かれています。
RAGの精度改善テクニックは数多くありますが、全部を順番に試す必要はありません。まず現状の回答を見て、何が足りないのかを特定し、その問題に合ったテクニックを選んで検証することが重要です。
これ、本当にそうなんです！
RAGには、チャンキング戦略、パーサー、ハイブリッド検索、リランキングなど、精度を上げるための選択肢がたくさんあります。
選択肢がたくさんあると、ついつい最初から色々試したくなりますよね。
でも、それだとうまくいきません。
いくつも同時に変えてしまうと、良くなっても悪くなっても、どれが原因だったのか分からなくなります。
私もこの本を読みながらRAGの改善に取り組んでこのことを実感しました。
第5章でも、どこが問題になっているかを特定してから手を動かすこと、1回の改善で変えるのは1箇所に絞ることが繰り返し書かれています。
遠回りに見えても、シンプルに作って、原因を調べて、1つずつ確実に対策する。
これがRAGの改善を進める一番の近道だと学びました。
原因ごとの対処方法が載っている
一人でRAGを作っていると、原因は分かったけど、この原因には何をすればいいんだろう？と悩むことがあります。
この本では、第3章で困り事に合わせて改善テクニックが解説されています。
データの前処理、チャンキング戦略、パーサー戦略、ハイブリッド検索、リランキングなど、それぞれがどんな困りごとに向いているかも合わせて書かれています。
さらに第3章の最後には、困りごとから改善テクニックを選べる早見表がまとまっています。
事象ごとに改善しなければ次の候補に進む、という順番で1つずつ試せるのがありがたかったです。
この表はあくまで出発点で、そもそも該当する文書がなければ、検索設定をいくら調整しても回答は改善しないとも書かれています。
まず文書が揃っているかを確認してから、テクニックを1つずつ試していく流れなので、前の見出しで書いた考え方とそのままつながっています。
チェックシートがあるのでRAG初心者でも進められる
第5章には、評価のスコアが低かったときに、症状から原因を探せる原因分析マップがあります。
症状ごとに関連するテクニックが並んでいて、チェックシートのように1つずつ確認していけます。
表の後には、切り分け方も書かれています。
例えば、ドキュメントを見つけられているか、必要なナレッジが揃っているかを確認し、必要な情報がなければ文書か検索の問題、必要な情報があれば生成やプロンプトの問題と切り分けて考えます。
何を確認すればいいのかまで書いてあるので、どこから手を付ければいいか分からない、という状態になりません。
RAGの初心者でも、このチェックシートを見ながら進められます。
私もこのチェックシートを見ながら、原因を1つずつ確認して改善を進めることができました。
一番印象に残った、原因を調べてから対策する進め方を、そのまま手順として実践できるのがこの本のいいところだと思います。
こんな方におすすめ
Amazon Bedrockで生成AIアプリケーションを業務に入れたい方や、RAGやAIエージェントを作ったあとの評価・運用に興味がある方におすすめです。
AIエージェントの実装や品質評価、本番環境の設計まで扱っているので、やってみたの次に進みたいときにも役立つ一冊だと思います。
また、冒頭にも書きましたが、この本はRAGを作ってみたものの期待した回答が返ってこず、次に何をすればいいか分からない方には特におすすめしたいです。
原因の調べ方から対策の選び方まで載っているので、一人でRAGを作っている方でも、この本を見ながら1つずつ進められます。
まとめ
今回は神野さんの「Amazon Bedrock実践ガイド」を紹介しました。
RAGの改善は選択肢が多いぶん、つい最初から色々試したくなりますが、まずシンプルに作って原因を調べ、1つずつ確実に対策するのが大事だと、この本を読んで実感しました。
単著で苦労されているのを横で眺めていましたが、無事に書籍として発売される日が来て、同僚としても嬉しい限りです。
この本には一般的なことだけではなく、神野さんの熱い想いを込めた自信作だと言ってたので、ぜひこれを読む方はその熱さを感じて欲しいです。
