BrevでVSS AIで動画データの検索・要約をやってみた
はじめに
- 工場では、設備の稼働状況や作業者の動き、製品の状態など、現場で起きているさまざまな事象を正確に把握することが求められます。その手段の一つとして動画データからの情報抽出があります。もちろん工場だけに留まらず、長時間の実験プロセスの監視や物流の把握、WEB会議の要約など、動画から情報を抽出したい場面は多いのではないでしょうか。
- 今回は、NVIDIA VSS（Video Search and Summarization）を使って、動画に対して自然言語で質問や指示を与えることで、動画内の情報をどのように得られるのかを検証します。
- NVIDIA VSSとは、単一のAIモデルではなく、VLM（Vision Language Model）やLLM（大規模言語モデル）、RAG（検索拡張生成）などの技術を組み合わせた映像解析パイプラインです。これらの技術を統合することで、映像だけでなく音声も含めて動画の内容を解析し、自然言語による対話を通じて必要な情報を柔軟に取得できます。
実行環境
VSSのハードウェア要件を見てみると、検証済みのGPUとしてH100、RTX PRO 6000 Blackwell、L40S、DGX SPARK、IGX Thor、AGX Thorが挙げられています。
また、GUIツールを含めたblueprintが公式から用意されていますので、今回はBrevからこちらを使っていきたいと思います。
BrevログインからVSSを動かすまで10分ほどで体験することができます。
※インスタンス起動・動画アップロード時間を除く。
※GPUインスタンスの料金が発生します。
準備
- Brevアカウントを作成し、コンソールにログインする https://developer.nvidia.com/login
- NGCアカウントを作成しAPI Keyを発行する
- 公式のサンプルデータを利用したい方 -> NGC CLIをインストールする
今回は、
- GPUインスタンスの作成：BrevにてVSSのリソース一式を含めたGPUインスタンスを作成
↓ - VSSデプロイ：準備されたスクリプトを利用して、NGCからコンテナをダウンロード
↓ - アプリケーションの起動
という流れです。
手順
1. GPUインスタンスの作成
-
Brevコンソールにログインします
https://developer.nvidia.com/login -
Launchableタブを開いてvideo-search-and-summarization-blueprintを検索して開きます。
-
Deploy Launchableをクリックするとインスタンスの作成が開始されます（以降の時間が課金対象となりますので、表示されている費用をご確認ください。検証時の費用は$8.35/hrでした）。
-
インスタンス作成が完了するまで待ちます。
2. VSSデプロイ
- インスタンスが作成できたら
Open NotebookをクリックしてJupyterLabにアクセスします。
-
準備されたスクリプトを使ってVSSをデプロイします。
/deploy/docker/scripts/deploy_vss_launchable.ipynbを開きます。
最初のCodeセルでNGC_CLI_API_KEYに、用意したAPI Keyを入力します。
-
10. Access the UIのCodeセルまでデフォルト通りに実行します。
少し待つとアプリケーションが起動するので、表示されたURLにアクセスします。
VSS UI (via Brev secure link): https://7777-<ID>.brevlab.com
起動できました。
試してみる
-
それではいくつか動画をアップロードしてVSSを試してみます。
まずはベルトコンベアの上を箱が流れる動画に対して質問しました。 -
何の動画か聞いてみる
質問：What is this video about?
回答：The video is about a curved conveyor belt system in an industrial setting, specifically designed for transporting items such as cardboard boxes and packaged goods. The system features a durable rubber-like belt supported by blue metal frames with vertical supports. The conveyor operates continuously and efficiently, moving objects from one end to the other through a curved path without disruptions. The environment is a warehouse or factory with a concrete floor, and the items on the belt are labeled with barcodes, indicating a logistics or distribution process.
The video is titled "sample-sim-box-conveyor" and shows packages moving along a conveyor belt, demonstrating its functionality and efficiency in handling various items.
細かく教えてくれますね。
- 流れた箱の数を聞いてみる（正解は8個）
質問：How many boxes are moving along the conveyor belt?
回答：The final answer is: There are 8 boxes moving along the conveyor belt.
正解しています。
- 日本語で聞いてみる
質問：いくつの箱がベルトコンベアを流れますか？
回答：The number of boxes moving on the conveyor belt increases over time according to the analysis. The maximum observed count was 14 boxes at timestamp 80.1s. However, the exact final count at the end of the video (81.567s) is not explicitly stated in the results. If you need the precise final count, we may need to re-analyze the last few seconds of the video.
今度は間違えました。
英語で質問する方が良さそうです。
- 手元の適当な動画でも試してみます
別のブログで使っている餃子作りの動画です。
質問：What is this video about?
回答：The video is about a person preparing dumplings on a wooden table. The process includes mixing ingredients in a large bowl, shaping dough sheets, adding filling with a spoon, folding and sealing the dumplings, and placing them on a metal tray. The video focuses on the hands and techniques used during dumpling preparation, with static background elements showing the workspace setup.
大まかな作業内容も含めて回答していますね。
片付け
-
検証が終わったらnotebookに戻って、
14. TeardownのCodeセルまで実行します。
-
GPUインスタンスも削除します。Console画面でDeleteをクリックします。
少し待ってインスタンスが削除されたことを確認します。
おわりに
- 今回は公式の手順に沿ってVSSを実際に試してみました。
GUIで操作でき、自分のデータを使って手軽に試すことができるので、精度や速度の手触り感が得られました。
