Japan NPN Partner Agentic AI Hackathon で、AI エージェントが動くミニ工場のダッシュボードを担当しました

Japan NPN Partner Agentic AI Hackathon で、AI エージェントが動くミニ工場のダッシュボードを担当しました

Japan NPN Partner Agentic AI Hackathon で、AIエージェントが動くミニ工場のダッシュボードをNuxt 4で作りました。何も書き込まない作りと、実機とダミーの値を混ぜて見せる工夫を紹介します。
2026.11.18

こんにちは、製造ビジネステクノロジー部のはすとです。

2026年10月19日から30日まで、Japan NPN Partner Agentic AI Hackathon に参加しました。私たちのチームは、3Dプリンタ、ロボットアーム、ベルトコンベア、在庫棚、カメラで机の上にミニ工場を組み、その工場をAIエージェントに運用させる「Mini-Fab FOX」を作りました。

全体の構成は、下記のチーム記事にまとまっています

https://dev.classmethod.jp/articles/nvidia-agentic-ai-hackathon-2026/

私は、工場の様子を見せるダッシュボードを担当しました。
本記事では、このダッシュボードに何を載せて、どこまでを実機から読んだか、みやすくするために何をしたかを紹介します。

作ったもの

ダッシュボードの全体は以下です。

https://www.youtube.com/watch?v=O2qjbGL09lQ

※ 本記事の画像と動画は、表示確認用のデモ画面です。サーバーを置かずにダミーの工場を動かしているため、数字やカメラの映像はすべてダミーです。

ダッシュボードの技術スタックは以下です。

分類 技術
言語 TypeScript
フレームワーク Nuxt 4(Vue 3)
サーバー Nitro(Nuxt 内蔵)
ランタイム Node.js 24
パッケージマネージャー pnpm
MQTT クライアント MQTT.js
MCP クライアント MCP TypeScript SDK
画像処理 sharp
リアルタイム更新 SSE
動作環境 NVIDIA DGX Spark

ダッシュボードはNuxt 4で作り、チームのNVIDIA DGX Sparkで動かしました。コンベアとサーボの制御、カメラの画面は、2台のNVIDIA Jetson Orin Nano Superで動いています。

構成は以下のとおりです。

NuxtのサーバーであるNitroが、MQTTのイベントと設備のMCPサーバーの状態を読んでまとめます。画面は開いたときに /api/snapshot で全体を読み、その後は /api/stream からSSEで毎秒届く工場の状態を受け取ります。

SSEが切れたときは、ブラウザが最後に受け取ったメッセージのIDを Last-Event-ID に付けてつなぎ直します。

画面からサーバーへは何も送らないため、画面の更新はWebSocketではなくSSEにしました。また、描画はブラウザだけで行い、サーバー側での描画(SSR)は切っています。

ここからは、画面に出しているものを紹介します。

完成品、不良品、良品率

見出しの完成品・不良品・良品率の数字を赤枠で囲んだ画面

検品カメラのVLMが判定した数です。MQTTに出る検品のイベントから数えています。

工程の帯

プリンタ、取り出し、検品、仕分け、在庫棚が並ぶ工程の帯を赤枠で囲んだ画面

工程ごとの状態を左から並べています。出どころは工程によって違います。

  • プリンタ: 3Dプリンタの状態と進み具合。MQTTのプリンタの状態から読む
  • 検品: ベルトの稼働と停止。コンベアのMCPから2秒ごとに読む
  • 仕分け: サーボに指令した角度。サーボのMCPから2秒ごとに読む
  • 取り出し、在庫棚、ベルトの上の個数: ダミー。ダッシュボードの中の模擬の工場が出す

プリンタの枠

プリンタの進み具合の絵を赤枠で囲んだ画面

3Dプリンタの状態と進み具合を絵にしたものです。工程の帯の「プリンタ」と同じく、MQTTのプリンタの状態から描いています。

検品カメラ、レーンカメラの枠

検品カメラとレーンカメラの枠を赤枠で囲んだ画面

実機では、Jetson Orin Nano Superで動いている画面そのものをiframeで埋め込みます。デモ版では、ダミーの映像を出しています。

エージェントの動きとお知らせ

エージェントの動きの枠と、右上のお知らせのベルを赤枠で囲んだ画面

エージェントへの依頼と結果を出します。人への知らせは、右上のベルから開きます。どちらもMQTTから読んでいます。

設備の動き

設備の動きの枠を赤枠で囲んだ画面

設備ごとの出来事を新しい順に出します。ここは実機につないでもダミーのままで、模擬工場が出すものです。

工場時刻

右上の工場時刻を赤枠で囲んだ画面

工場全体の時計です。工場全体の状態をまとめて5秒おきに届くMQTTのメッセージから読んでいます。

このように、実機から読んでいるものと、ダミーのままのものが混ざっています。この混ざり方をどう見せたかは、後の節で書きます。

ダッシュボードからは何も書き込まない

チームでは、最初に「LLMはDBや設備に直接書き込まない」と決めていました。設備やDBに書き込むのは、決定エンジンが承認した操作を受け取るcapability serverだけです。

ダッシュボードのサーバーも、工場の様子を見せるだけで、MQTTにも設備にも何も書き込まない形にしました。

設備のMCPは読み取りのツールだけ呼ぶ

コンベアとサーボの状態は、Jetson Orin Nano Superで動いている設備のMCPサーバーから読みます。このMCPサーバーには、start_conveyor や set_servo_angle のような、設備を動かすツールもあります。

// server/lib/hardware.ts
// ダッシュボードは設備を動かさないため、ここに書いた読み取りのツールしか呼ばない
const READ_ONLY_TOOLS = new Set(['get_conveyor_status', 'get_servo_status'])

async function callReadTool(probe: Probe): Promise<Record<string, unknown>> {
  if (!READ_ONLY_TOOLS.has(probe.tool)) throw new Error(`${probe.tool} は読み取りのツールではありません`)
  // MCP クライアントでつなぎ、ツールを呼ぶ(省略)
}

MQTTもサブスクライブするだけで、何も送りません。

埋め込んだ設備の画面からは、設備を操作できる

ダッシュボードのサーバーは何も書き込みませんが、埋め込んだ設備の画面からは、人が操作できます。検品カメラとレーンカメラの枠には、Jetson Orin Nano Superで動いている画面をiframeで埋め込んでいます。この画面には、検品の設定を変えるボタンや、コンベアを止める、回すボタンがあります。

最初は、iframeに inert を付けて透明な板を重ね、中のボタンに触れないようにしてましたが、ダッシュボード上で操作できた方が使いやすいということで、外し操作できるようにしました。

この操作は、表示している人のブラウザがJetson Orin Nano Superと直接通信して行います。ダッシュボードのサーバーは中継していません。

そのため、「ダッシュボードのサーバーは何も書き込まない」は保ったまま、画面としては設備を操作できる状態になっています。

実機とダミーを混ぜて見せる

ダッシュボードには、取り出しのアームや在庫棚のように、最後まで実機から読めなかった値が残りました。そのため、画面には実機から読んだ値とダミーの値が混ざって出ます。

ダミーの工場の上に実機の値を重ねる

ハッカソンの期間中、実機は少しずつつながっていきました。プリンタ、コンベア、カメラはそろっても、ロボットアームの取り出しや在庫棚はまだ、という時期が長く続きます。

そこで、ダッシュボードの中に模擬の工場を動かしておき、その上に実機から読めた値だけを重ねる形にしました。模擬の工場は1秒ごとに状態を進め、その状態をSSEで画面に送ります。

重ねる処理は以下です。

// server/lib/factory.ts
// overlay は模擬の工場の状態をそのまま含み、実機と MQTT から読んだ分だけを上書きする
const overlay = <S extends FactoryState>(s: S): S => {
  const out = {
    ...s,
    ...(hw.enabled ? { hardware: hw.status() } : {}),      // 設備の MCP
    ...(feed.enabled ? { agent_feed: feed.status() } : {}), // エージェントの動き
    ...(insp.enabled ? { inspection: insp.status() } : {}), // 検品の判定
  }
  // プリンタの状態と工場全体の状態を重ねる。届いていないものは模擬の工場のまま
  return ov.enabled ? withOverview(out, ov.status()) : out
}

どの値を実機から読むかは、環境変数で決めます。

この形にしたおかげで、実機がつながる前から画面の見た目を作り込めました。

「一部ダミー」と「実機」のラベルを出す

実機とダミーが混ざると、見る人にはどの数字が本物か分かりません。そこで、画面の上部にラベルを出し、実機から読んでいるものが1つでもあれば「ダミーデータ」から「一部ダミー」に変えるようにしました。

// app/components/AppHeader.vue
// 実機から読んでいるものが 1 つでもあれば、すべてがダミーではない
const dataLabel = computed(() => {
  const s = props.snapshot
  const real = factory.value || (s.overview?.printer && !s.overview.printer.stale) || s.hardware || s.inspection || s.agent_feed
  return real ? '一部ダミー' : 'ダミーデータ'
})

このラベルは、画面の左上に出しています。

左上の「ダミーデータ」のラベルを赤枠で囲んだ画面

デモ版は実機から何も読まないため、「ダミーデータ」のままです。あわせて、実機から読んだ数字と工程には「実機」の小さなラベルを付けています。

完成品と良品率はVLMの判定から数える

見出しの完成品、不良品、良品率は、検品カメラのVLMの判定から出しています。このVLMは、NVIDIA Nemotron 3 Nano Omniを、アヒルの検品向けにLoRAでファインチューニングしたものです。

検品のプログラムは、1個判定するたびにMQTTへ判定結果のイベントを出すため、ダッシュボードはそれをサブスクライブして、以下のように数えます。

  • 完成品: 判定した数
  • 不良品: 不良と判定した数
  • 良品率: 良品の数を、判定した数で割ったもの

シミュレータが出す同じ種類のイベントは、実機のものではないため数えません。

見て分かる画面にする

Jetson Orin Nano Superの画面は縮めて並べる

検品カメラとレーンカメラの枠は、最初はダッシュボードのサーバーが映像(MJPEG)を読み、縮めてから配っていました。ただ、検品の画面には、映像のほかに判定する帯の位置や直近に判定した画像も出ています。これをそのまま見せるため、Jetson Orin Nano Superの画面をiframeで埋め込むことにしました。

元の画面は全画面で使う前提のため、小さな枠にそのまま入れるとレイアウトが崩れます。そこで、決まった大きさ(検品の画面は1280×720、詰まり監視の画面は1280×800)で開き、CSSの transform: scale() で枠に合わせて縮めました。検品の画面の例は以下です。

<!-- app/components/InspectionPage.vue を簡略化したもの -->
<script setup lang="ts">
const WIDTH = 1280
const HEIGHT = 720
const box = ref<HTMLElement | null>(null)
const fit = reactive({ scale: 0, x: 0, y: 0 })

// 枠の大きさから、元の画面を縮める倍率と、中央に置く位置を出す
function measure() {
  const el = box.value
  if (!el) return
  const scale = Math.min(el.clientWidth / WIDTH, el.clientHeight / HEIGHT)
  Object.assign(fit, { scale, x: (el.clientWidth - WIDTH * scale) / 2, y: (el.clientHeight - HEIGHT * scale) / 2 })
}
// 枠の大きさが変わったら測り直す(ResizeObserver を使う。省略)
</script>

<template>
  <div ref="box" class="page">
    <iframe
      v-if="fit.scale > 0"
      :src="url"
      sandbox="allow-scripts allow-same-origin"
      :style="{ width: `${WIDTH}px`, height: `${HEIGHT}px`, transform: `translate(${fit.x}px, ${fit.y}px) scale(${fit.scale})` }"
    />
  </div>
</template>

縮める倍率は、画面の幅が1440pxのときに約0.37倍、iPadの横向き(幅1024px)で約0.24倍でした。細かい字は読めないため、枠に「拡大」のボタンを付けています。

allow-same-origin が無いと、中の画面は自分のサーバーとも別のオリジンとして扱われ、設定をJSONで送る前の OPTIONS の事前確認で止まります(検品の画面のサーバーは OPTIONS に501を返します)。そのため、操作できるようにしたときに allow-same-origin を足しました。

詰まりで止まったら背景の雨を赤くする

レーンカメラの映像は、VLM(NVIDIA Nemotron 3 Nano Omni)を使った詰まり監視が見ています。品物が詰まったと判断すると、詰まり監視がコンベアを止め、MQTTに停止のイベントを出します。

ダッシュボードはそのイベントを受けて、止まっている間は以下のように表示を変えます。

  • 雨を濃い赤にする
  • 落ちる速さを2.2倍にする
  • 雨の字がちらちら別の字に変わる頻度を、約12倍に上げる
  • 画面の中央に「LINE HALTED」と、詰まりを見つけた時刻、再開の仕方を5秒だけ出す

赤くなるのは新しく落ちてくる字だけで、古い緑の字は消えていくため、数秒かけて赤い雨が上から流れ込みます。実際の表示は以下の動画です。

https://www.youtube.com/watch?v=KCkzdNc5aPY

最初は、縞模様と点滅で画面全体を覆う警報にしましたが、うるさすぎてやめました。次に、画面の色や各枠の背景まで赤くする案を試しましたが、これもうるさく感じボツにしました。また、知らせの文をエラーログ風にもしてみたのですが、本物のシステムのエラーに見えてしまったため、やめています。

最終的に、各エリアの色や枠は変えず、背景の雨と短い知らせだけで伝える形にしました。

まとめ

今回は、AIエージェントが動く工場のダッシュボードを、読むだけの画面として作りました。
ダッシュボードのサーバーはMQTTをサブスクライブし、設備のMCPの読み取りツールを呼ぶだけになりました。一方で、埋め込んだJetson Orin Nano Superの画面からは、人が設備を操作できます。また、実機とダミーが混ざる工場を見せるときは、どの値が本物かを画面に書くことに気を配りました。

画面のデザインでは、できるだけ不要な文言を削り、数値がひと目で読めるようにしました。プリンタの枠ではアヒルが印刷されていく様子をアニメーションで見せて、ちょっとした遊び心を入れています。全体の見た目は、ある映画をモチーフにしたサイバーパンク風に仕上げました。

普段は一緒に開発しない方々と、わいわい言いながら1つの工場を作り上げていくのは、とても楽しかったです。

参考

【要確認】公開前にリンク先を開いて確かめる

この記事をシェアする

関連記事