『顧客体験を加速させるチャットボットで始めるAIエージェント入門』というタイトルでウェビナー登壇しました
話した内容
以下のウェビナーにて話しました。前回の今、知っておきたい！ AIエージェント～基礎編｜活用事例と活かし方～に続き、今回は、開発編｜現場で活きる作り方と使い方になります。
資料は以下の通りです。今思うとタイトルと内容があってなくて、内容はインフラ、サーバーよりです 🙇
内容について
スライドとその下に補足の説明を書きます。
AIエージェントの特徴としてReasoning(推論)とAction(行動)の2つをあげました。2022年のGPT-3.5を搭載したChatGPTは、単に会話を返すだけの「AIアシスタント」でした。 現在のChatGPTはDeep Research（または検索機能）を使って調査したり、コードを実行してデータを分析したり、細かい画像編集を行ったりします。これは、Reasoning（推論）して「Action（行動）」する能力が強化された結果です。ユーザーが細かく指示しなくても、AIが自分で考えて試行錯誤してくれる。この「自律性」が高まったという意味で、「AIエージェント」の領域に入っていると言えると思います。
AIエージェントとユーザーアプリケーションその両方の構築をサポートしてくれる2つのSDKを紹介しました。チャット内での表現力を向上させたり、チャットUI側と本体のUI側の連携などもあるとより人間がやっていた作業をAI側にオフロード出来る体験が実現できるため活用していきたいところです。
AI SDKの説明です。代表的なところでサーバーサイドは簡単にストリーミング出来る関数、フロントエンドはuseChatというAIチャットボット機能(メッセージの送受信、状態管理、ストリーミングレスポンスの処理)を簡単にReactアプリケーションに組み込むための便利なReact Hookを提供しています。
v4→v5の移行を自分もやったことがちょろっとあるのですが、ほぼ書き換えが必要なレベルで刷新がありました。同じ規模の変更が今後入るかは正直わかりません。ただ移行した肌感覚ですが、v5でメッセージの型などを大分見直した感じがしていて、これがベースになるんじゃないかなと思っています。既にv6 Betaが発表されています。
PoCで構築した構成です。後のスライドでもありますが、120秒制限、WebSocket非対応はLLMチャットアプリでは致命的なケースがあるので注意が必要です。
プロンプトキャッシュの話です。QAでもありましたが、キャッシュされるのはプロンプトをトークンにし、冒頭からGPUで計算した結果をキャッシュします。なのでユーザーのプロンプトまで含めてしまうと、ヒット率が悪いと思いますので、tools, systemまで入れるのが良いと思います。
現在やっている構成の紹介です。マニュアルや動画をRAGで検索できるようにしています。
plan-and-executeを実装しましたが、思ったより精度より回答生成速度がネックになり、採用を見送りました。時間が許されればチューニングする余地はありました。早いモデルの採用や、タスクごとにルーティングを変えるなど。
AIエージェント作る上での観点について説明しています。
結果としては単純な検索拡張+LLMという構成にしています。自社の検索システムにあるものを素早く返すことに注力させています。
まとめはスライド通りです。ここら辺の体験設計は分業になっているとかなり抜け落ちる部分もあると認識していて、何より密なやり取りや事前の設計が大事だと思いました。
最後に
どちらかというとまだツールやRAGを使ったAIアシスタントに近いですが、ReasoningやAction部分を今後強化し、アップデートがあれば発信していきたいなと思います！
ウェビナーでは、沢山のリアクション及び質問ありがとうございました！多くの質問があり、関心が高い分野であることが改めて実感出来ました！
