
Japan NPN Partner Agentic AI Hackathon で、AI エージェントにミニ工場を任せるためにやったこと
はじめに
こんにちは、クラスメソッド製造ビジネステクノロジー部の嶋田です。
2026 年 10 月 19 日から 30 日まで、NVIDIA が主催する Japan NPN Partner Agentic AI Hackathon に、社内のチームで参加しました。
チームが作ったのは、3D プリンタ、ロボットアーム、コンベア、検品カメラでできた生産ラインを、AI エージェントで管理するミニチュア工場です。
この記事では、私が担当したエージェントの部分を書きます。
コンセプトは、人が注文を入れたら、印刷、検品、出荷と、不良が出たときの作り直しまでを、エージェントが自律的に回し続けることです。
そのために、誰がどう判断し、どの経路で設備を動かすかを考えて組んでみました。
エージェントが担う範囲
ミニ工場の流れは、人が注文し、3D プリンタでアヒルを印刷し、コンベアで検品台へ運び、検品カメラの VLM が良否を判定して、合格なら出荷する、というものです。
このうちエージェントが判断するのは、注文をどう生産に振るか、何をいつ印刷するか、不良や失敗のあとに作り直すか人に知らせるかです。
エージェントは 2 つにしました。
- 工場長: 工場のイベントを受けて状況を判断し、生産エージェントに仕事を振る。Hermes Agent(Nous Research)のプロファイルで、モデルは Qwen3.8-27B
- 生産エージェント: 何をいつ印刷するかを決める。モデルは NVIDIA Nemotron 3.5 Bolt E4B 4GB
工場長が「この注文の残りを印刷して」と生産に頼み、生産がプリンタの状態と注文の残りを見て印刷の開始を提案する、という分担です。
検品や異常停止は、それぞれの担当者が作った検品プログラムや詰まり監視が MQTT にイベントを出し、工場の側がそれを受け取ります。
検品の結果で作り直すループ
工場のループの中心は、注文ごとの「何個頼まれて、何個出荷し、何個を不良で除き、あと何個残っているか」の記録です。
capability server がこの記録を持ち、検品の結果を受けるたびに更新します。
検品で不良が出ると、その 1 個は注文の残りに戻ります。
イベントルーターは、プリンタが空いていて、残りのある注文があれば工場長を起こします。
工場長は注文の記録を読み、生産に作り直しを頼みます。
注文の数と実績を突き合わせ、ずれていれば作り直す、という照合をこの経路で回しています。
印刷中にノズルが詰まるなど、エージェントだけでは戻せない失敗もあります。
そのときは生産が「人に知らせる」を選び、工場長が人への知らせを出します。
人がベッドを片付けると、ルーターがプリンタが空いたことを確かめて工場長を起こし直し、工場長が残りを振り直します。
LLM は提案を出すだけにする
実機の 3D プリンタやアームを LLM が直接動かすと、意図しない操作がそのまま機器に届く可能性が少なからずあります。
そこで、エージェントには設備に書き込むツールを持たせず、構造化した提案(JSON)を出すことだけを許しました。
NVIDIA の Multi-Agent Intelligent Warehouse Blueprint にある型です。
提案は capability server(MCP サーバー)の proposal_submit で受け付けます。
決定エンジンが APPROVED、REJECTED、DEFERRED のどれかに判定し、APPROVED のものだけを capability server がデバイスの MCP に送ります。
提案、判定、実行の結果は、すべて台帳に残します。
決定エンジンは LLM を使わない純粋関数で、提案、工場の状態、判定時刻から判定を返します。
主なルールは次のとおりです。
| 判定 | 例 |
|---|---|
| REJECTED | プリンタが idle でない、注文の残りを超える数の印刷、ベッドが片付いていない(BED_NOT_CLEARED)、その提案を出してよいエージェントではない(AGENT_NOT_ALLOWED) |
| DEFERRED | 印刷の中止のように材料を捨てる操作、無人の時間帯の最初の印刷 |
提案を出したエージェントが誰かは、提案の中身の自己申告ではなく、MCP の Bearer トークンから決めます。
工場長のトークンで出せるのは注文の記録(order.create)と生産への依頼(agent.dispatch)だけで、工場長が自分で印刷を始める提案は AGENT_NOT_ALLOWED で止まります。
REJECTED のときは理由のコード(reason_codes)が返るので、エージェントは理由を読んで出し直せます。
A1 mini にはベッドの上に物があるかを測るセンサーがありません。
そこで、実機の印刷が終わったら、ベッドの片付けの合図が来るまで、決定エンジンが次の印刷を BED_NOT_CLEARED で止めるようにしました。
合図は、人の「取り出したよ」、実機のアームの取り出し完了、検品の結果のどれかです。
エージェントがこの事情を知らなくても、前の完成品の上に印刷が始まることはありません。
工場長はイベントで起こす
工場長は、自分でポーリングしません。
イベントルーター(決定論的なサービス)が MQTT のイベントを見て、判断が要るときだけ工場長を起こします。
| 起こすとき | 確かめ方 |
|---|---|
| 生産が「待つ」か「人に知らせる」を選んだ、提案が REJECTED だった | 生産の実行結果のイベント |
| プリンタが空いていて、まだ印刷していない数が残る注文がある | 印刷、取り出し、検品のイベントのあとに capability server を読む |
| 注文が完了した | 注文の完了のイベント |
印刷の進み具合のような細かい更新では起こしません。
起こすときは Hermes の CLI を 1 回呼び、きっかけと最近のイベント 15 件をプロンプトに入れます。
prompt = ("工場からの知らせで起こした。必要なら minifab の道具で対応し、最後に何をしたかを日本語 2 文以内で答えて。\n"
f"きっかけ({kind}): {reason}\n最近のイベント(古い順):\n" + "\n".join(recent[-15:]))
out = subprocess.run([HERMES, "-p", PROFILE, "chat", "-Q", "-t", "minifab", "--reasoning", "low",
"-q", prompt], capture_output=True, text=True, timeout=TIMEOUT)
工場長は前回の会話を覚えていない前提にし、状態は毎回 capability server から読み直させました。
会話の記憶に頼らないので、ルーターや工場長を起動し直しても、続きから判断できます。
人が注文を入れたり状況を尋ねたりするときも、同じ Hermes の CLI で工場長に話しかけます。
工場長は capability server を読んで答え、注文なら order.create と生産への依頼を出します。
デモでは、後で書く Reachy Mini がこの CLI を呼ぶ窓口になりました。
生産エージェントを Hermes から外した理由
生産エージェントも、最初は Hermes のプロファイルで動かす予定でした。
ところが、Bolt E4B を Hermes から使うと、ツールの呼び出しが文字列のまま返ってくるなど形式が崩れ、4 回中 1 回しか実行されませんでした。
プロンプトの長さ(約 1,500 トークン)は原因ではありませんでした。
そこで、生産は Hermes をやめて、短いループのプログラムにしました。
- プリンタの状態、注文、カタログは、コードが capability server から読む
- LLM には
chooseというツール 1 つだけを渡し、tool_choice: requiredで 1 回だけ呼ばせる - 選んだ手が印刷の開始か中止なら、生産のトークンで
proposal_submitに出す。REJECTED なら理由を添えて 1 回だけ聞き直す
CHOICES = ("print.start", "print.cancel", "wait", "notify_human")
TOOL = {"type": "function", "function": {
"name": "choose",
"description": "次の 1 手を選ぶ",
"parameters": {"type": "object", "properties": {
"action": {"type": "string", "enum": list(CHOICES)},
"job_id": {"type": "string"},
"quantity": {"type": "integer"},
"order_id": {"type": "string"},
"rationale": {"type": "string", "description": "判断の根拠"},
}, "required": ["action", "rationale"]}}}
往復を 1 回にし、ツールを 1 つに絞ると、依頼、待ち、失敗の場面で正しい手を選べるようになり、1 回の判断は 3〜5 秒でした。
小さいモデルにツールを自由に探させるより、選択肢を列挙して 1 つ選ばせるほうが安定しました。
判断の要らない工程はコードに残す
印刷が終わったあとの「取り出す」「検品の結果を記録する」「合格なら出荷、不合格なら除く」は、判断の余地がありません。
この部分は capability server の中のライン制御が決まった手順で提案を出し、エージェントは関わらせませんでした。
ライン制御の提案も決定エンジンを通すので、エージェントと同じルールで止まります。
エージェントの出番は、注文をどう振るか、不良や失敗のあとに作り直すか人に知らせるか、という判断の要る場面だけです。
この技術スタックにした理由
| 要素 | 選んだもの | 理由 |
|---|---|---|
| 工場長の枠組み | Hermes Agent | CLI の 1 回の呼び出しで起こせて、使えるツールの組(toolset)をプロファイルで絞れる |
| 工場長のモデルと置き場所 | NVIDIA DGX Spark 上の vLLM で Qwen3.8-27B | 会場に機材を持ち込んで会場の中で完結させる方針だったので、推論もチームの機械に置いた |
| 生産のモデルと置き場所 | NVIDIA Jetson AGX Orin 上の llama.cpp で Bolt E4B | 生産の判断は 1 回 1 手の選択で、小さいモデルで足りる。MQTT ブローカーとプリンタの MCP と同じ機械に置いた |
| 設備とのやりとり | 設備ごとの MCP サーバー | 設備の担当者がそれぞれ MCP サーバーを立て、capability server だけがその書き込み系のツールを呼ぶ。エージェントからは設備の MCP が見えない |
| イベント | MQTT | 設備が複数の Jetson に分かれていて、それぞれが自分のイベントを出す。モックと実機で同じトピックと形にそろえた |
| 安全の型 | 決定エンジン + capability server | Multi-Agent Intelligent Warehouse Blueprint の型。判定を後から再現できるので、決定エンジンを強化学習(RLVR)の報酬に使う構想もあった(会期中にファインチューニングまでは進めていない) |
工場長に全部をやらせる案も検討しましたが、NVIDIA Factory Operations Blueprint(FOX)の構成に合わせて、工場長が専門のエージェントやプログラムに振る二層にしました。
実機がない設備はモックで動かす
実機がそろう前から通しで試せるように、capability server の中に設備のモックを持たせました。
プリンタ、アーム、コンベア、検品台をそれぞれモックにし、時計を 20 倍速で回せるので、数十分かかる印刷も短時間で流せます。
実機ができた設備から、順にモックを実機に差し替えます。
たとえばプリンタを実機にすると、承認された印刷の開始は実機に送り、モックのプリンタは実機の完了イベントを受けて状態を合わせます。
アームやコンベアはモックのまま、という混在の状態でも工場全体を動かせるので、実機が 1 つずつそろうハッカソンの進め方に合っていました。
デモ用に Reachy Mini をつないだ
工場のループを回すうえで、人とのやりとりは Hermes の CLI で足ります。
会場のデモで見栄えをよくするために、ロボットの Reachy Mini を窓口としてつなぎました。
Reachy は OpenAI の gpt-live-1 で会話し、工場への依頼や質問は、会話の末尾を工場長に渡して答えさせます。
工場長の返事は 1 回 10〜15 秒かかります。
人への知らせ(「ベッドを片付けてください」など)は、イベントルーターが MQTT の 1 つのトピックにまとめていて、Reachy はそれを購読して読み上げます。
ただし、「工場を稼働して」「コンベアを止めて」「取り出したよ」は、工場長に判断させず、決まった言い回しだけを人の合図として MQTT に直接出します。
コンベアを止めるのは安全側の操作なので、LLM の判断を挟んで遅らせたくありませんでした。
「取り出したよ」は人がベッドを片付けたという申告で、LLM が取り違えると、ベッドに完成品が残ったまま次の印刷が始まります。
振り返り
エージェントの部分で分かったことは次のとおりです。
- 設備に書き込む経路を capability server と決定エンジンに一本化したので、会期中に承認の有無やベッドの片付けの扱いを何度変えても、エージェントのプロンプトには手を入れずに済んだ
- 小さいモデルを汎用のエージェントの枠組みで動かすと、ツールの呼び出しの形式が崩れやすい。往復を 1 回、ツールを 1 つにすると安定した
- 判断の要らない工程までエージェントに任せると、遅くなるうえに失敗の箇所が増える。エージェントに任せるのは、作り直しや人への知らせのような判断が要る場面に絞った
- モックと実機を設備ごとに差し替えられるようにしたので、実機がそろう前からエージェントのループを通しで試せた
決定エンジンに任せている責任範囲の一部は、NVIDIA OpenShell で代替することが可能だと考えています。
今回は Hermes Agent を利用しているので、OpenShell の仕組みを活用した NemoHermes の導入も今後検討しています。
おわりに
ミニ工場で、注文から印刷、検品、出荷と、不良が出たときの作り直しまでを、エージェントが回す部分を組みました。
LLM は提案だけを出し、決定論的な決定エンジンを通ったものだけを実行します。
工場長はイベントで起こし、生産は小さいモデルに 1 回だけ選ばせる構成に落ち着きました。
デモ当日は Reachy Mini への指示出しから工場の稼働開始、アームやコンベアの連動までスムーズにお見せすることができました。今後は社内への展示予定もあるので、ミニ工場全体の内容を更に発展させていき、生産から出荷までのループを回すところまで作り込む予定です。











