品質情報から作業動画に遡る。工程の現状把握を試してみた
はじめに
- 私はこれまで、製品がいつどんな工程を経て完成したかの実績を追いかけるために試行錯誤しましたが、多くの場合挫折してきました。
- ストップウォッチの記録が手間で現象を拾いきれなかったり
- QRコードや位置決め治具の仕込みが物理的に難しかったり
- 画像認識のパラメータ調整が手間で図面改訂に対応できなかったり
- しかし最近のVLMの発展によって、非常に柔軟に工程の実績をデータ化できる可能性を感じています。
- 今回は、VLMを使って作業動画を解析し、時間・内容を抽出することで、完成品の品質情報（今回は秤量結果）と紐付けて現状を把握する流れを試してみたいと思います。
- またもや餃子動画ですが・・・、ファインチューニングなど餃子画像に特化する処理は行なっていないため、さまざまな作業に展開できると考えています。
ダッシュボードのデモ
まず、操作している様子がこちらです。
この記事では、作業者２名がそれぞれ25個（合計50個）の餃子を作る工程に関して、ダッシュボードの設計意図と、現状把握の流れを深掘りしていきたいと思います。
設計意図
-
現場の管理指標のダッシュボードには問いがセットです。
例えば、現状の工程よりも経済性を高めるために「どんな仮説を持ち、何の指標を見て、どんな行動を起こすか？」ここまでをセットに設計することが定石です。 -
今回は**「同じ品質の餃子を今より早く作るには何をすべきか」**を問いとして、現状を把握してみたいと思います。
-
まずは、管理したい指標を挙げ、それを表現するためのデータ、理解するための可視化を考えます。
- 品質：
- ここでは出来上がった餃子の重さを指標とします。ちょうどいい量包むのって意外と難しいです。
- 参考にしたレシピには餡20gを包むと書いてあったので、皮の重さを3gとして、餃子1つあたり23gが妥当な重さでしょうか。
- データとしては、重さを一つずつ測って記録するのが面倒だったので、測った画像を撮影しておき、VLMで天秤の表示を読み取りデータ化します（撮影するのも大変でした）。
- 50個作った餃子の重さはどんな分布をしているでしょうか？I-MR管理図で確認するのが良さそうです。
- 納期：
- 一つの餃子を作る時間（サイクルタイム）を指標とします。
- 動画を細かいチャンクに分割してVLMに入力します。人間の手が皮を掴み上げた時間から、人間の手が餃子をトレイに置いて離れた時間を検出対象と定義して、サイクルタイムをデータ化します。
- 作業者は２名。作業者間でサイクルタイムは異なるでしょうか？また、二人とも餃子作り素人でしたが、数をこなすとサイクルタイムはどうなるでしょうか？
- ばらつきが分かる箱ひげ図で確認するのが良さそうです。
- 品質：
-
大まかなデータの流れは次の通りになりました。
-
VLMモデルは複数試した結果、動画はQwen/Qwen3.5-4B、画像はQwen3-VL 4B Instructを使っています。
-
これらの情報を一元的に把握するために、次のようなレイアウトとしました。
-
非常にシンプルですが、重さとサイクルタイムの分布で気になる点を見つけ、画像と動画を振り返る動線になります。
-
また、UXの観点で重要なのが、管理図の一点をクリックしたときに、箱ひげ図・画像・動画も連動して表示することです。これによって指標同士あるいは画像・動画との関係性に手触り感を持ちやすいです。
現状把握
改めて動画を見て**「同じ品質の餃子を今より早く作るには何をすべきか」**を考えます。 （記事冒頭と同じ動画です）
見づらくて恐縮ですが、動画の対応箇所を停止させつつ読んでいただけると幸いです。
1. まず重さについて管理図を見てみます。動画時間：3秒時点
- I管理図から、平均20.4gで推移。±3σは超えていません。
- 23gが妥当だとすると、全体的に餡の量が少なめです。慣れるともっと詰め込めるのでしょうか・・。
- 作業者A（青）と作業者B（黄）を比べると、Bの方が、全体的に重い傾向があるかもしれません。
- また、MR管理図をみると、AよりもBの方が急な変動が多い印象です。
2. サイクルタイムを見てみます。動画時間：7秒時点
- 作業者Aは中央値43秒、作業者Bは中央値39秒です。
- 数をこなしてもサイクルタイムが短縮している様子はなさそうです。
- 分布を見ると、40~45秒程度にサイクルタイムを収束できそうな印象です。45秒以上かかっているケースはどういった様子だったのでしょうか。
3. 最も時間がかかっているサイクルタイム（外れ値）を深掘りしてみます。動画時間：1分22秒以降
- まず外れ値のサイクルで作られた餃子の重さは20g付近に分布しており、重さに問題はないようです。
- 重さだけで判断するのは不安なので、完成した餃子の画像を見てみると綺麗に包まれていることが確認できます。
- では作業の動画を見てみると、
- 皮を取る動作の前に、これまで作った餃子の個数を数えています。
- また、餡を二回掬ったあと、餡が皮やスプーンにくっついてスムーズに置けず、何度か直しています。
- 包む際には、餡の中から大きな粒（キャベツ？）が飛び出して、それを押し込む動きをしています。
- 最後にトレイに置く際は、トレイの隙間が狭く、ぎゅっと押して整列し直す動きがあります。
- このことから、次のことがわかります
- 外れ値は、サイクルタイムを正しく検出している（除外すべき値ではない）。
- 出来上がった餃子の重さに異常はないが、これを作る過程で4つの要素が重なり、サイクルタイムを大きく長引かせた可能性がある。
さいごに
-
4つの仮説を得たので、実務であれば早速作業者Aにヒアリングして、
- 餃子をトレイに自由に置くのではなく、スペース的に余裕を持って、かつ場所が一意に定まる仕組みの検討
- 餡を定量掬えて、皮に置きやすい治具の検討
- 餡の具材の粒度のばらつきを調べる
・・・などのアクションアイテムが得られそうです（家ではやりません）。
-
このように生データに手触り感を持った状態で仮説作りに取り組み、統計的に有意な関係を調査していくとスムーズに改善が進められそうな感想を持ちました。
-
今回の餃子作りくらい単純な工程であれば、工程を見ただけで改善点はたくさん挙げられますが、最も注目したいのはVLMによって、人の作業や工程の様子を時間の概念を含めて言語化・構造化できるようになった点です。
-
動画から手軽に情報を抽出できれば、品質情報をはじめとした各種製造データと紐付けることで、複雑な現状を適切に把握して、具体的なアクションに繋げることが期待できます。
