UnityとUE4モーションデータを出力してみた(VMCtoMOP)
概要
前回の記事にThreeDPoseTracker(Unity) -> VMCtoMOP(Unity) -> MopUE4という形でUnityツールの骨格認識経由でUE4のモデルを動かしましたが、リリース版のものを使ったので、中身はどういう感じか分かりませんでした。
モーション周りの勉強のため、プロジェクト上でモーションデータ取り出したいと思います。最新の ThreeDPoseTracker(Unity) は現時点 Close Source になっているらしいですが、VMCtoMOPはOpen Sourceなので、VMCtoMOPのプロジェクトを立ち上げ、ソース改造し、モーション(VMCとMOP両方)を出力してみたいと思います。
マシン環境
CPU : Intel i7-6920HQ
GPU : AMD Radeon Pro 460
Memory : 16GB
System : Windows 10 (with .NET 5 installed)
IDE : Visual Studio 2019 Community
Editor : Visual Studio Code
Terminal : Windows Terminal (or Command Prompt)
Engine : Unity 2020.3.17f1 Personal
事前準備
GitHub: VMCtoMOP by HAL9HARUKU まず上記のプロジェクトをダウンロードします(zipファイルかgit cloneかどちでも大丈夫)、。展開(Clone)したものをUnity Hubで開いて、Safe Modeを無視し、Ignoreを押してプロジェクトを開きます。
VMCtoMOP 依存ライブラリなどを参照することで、下記のパッケージも用意します: - TextMeshPro 3.0.4 (Unity 公式) - UniVRM v0.66.0 - uOSC v0.0.2 - UniRx Ver 7.1.0 - UniTask Ver.2.2.5 - VRoid: Vivi
Unity Packages
Assets -> Import Package -> Custom Packageでダウンロードした四つパッケージをプロジェクトに追加します。
TextMeshPro
TextMeshProは公式のPackage ManagerでInstallできます。
それからMainSceneを開くと、TMP Importerのことが聞かれます。Import TMP Essentialsを選択してください。
VRoid Vivi
版権などの問題だと思いますが、キャラクターモデルViviはプロジェクトに含まれていません。外部リンクVRoid: ViviでViviのVRMファイルをダウンロードします(サイトのアカウント登録が必要)。
先ほどUniVRMが追加されたので、メニューにVRM0ボタンが表示されます。VRM0 -> ImportでダウンロードしたViviのVRMファイルをプロジェクトに追加します。
もともとシーンにあったViviを削除して、追加されたViviをシーンに入れて、新しいViviを Manager -> Manager(Script) -> Animator と Manager -> Mop Sender(Script) -> Animator の参照にします(Drag&Drop)。
シーンにあるViviを選択し、InspectorのとこでVRM Meta(Script) -> Information -> Versionにワーニングが出ていて、適当な数字を入れれば大丈夫です。
Viviのポジションを(0,0,0)にしてください。
ソースの改造
.jsonの形で高速、大量なデータの書き込みは問題が発生してますので(解決したら修正します)、.txtの形でモーションデータを保存します。
モーションが発生するタイミングはTime.deltaTimeで加算し、記録されます。
VMCモーションデータ(for Unity)の出力
まずOscServer.csにソースコードを追加し、VMCモーションデータをアウトプットします。
using System.IO;
public void Run(int port)
{
// ......省略
CreateFileAndWriter();
}
private void Update()
{
// lock(lockObject_)
// {
// while (parser_.messageCount > 0)
// {
// var message = parser_.Dequeue();
// onDataReceived.Invoke(message);
OutputVmcMotion(message);
// }
// }
time += Time.deltaTime;
}
FileStream fileStream = null;
StreamWriter writer = null;
float time = .0f;
private void CreateFileAndWriter()
{
var dirInfo = Directory.CreateDirectory("D:/MotionData/");
string fileName = "MotionVmc" + DateTime.Now.ToString("yyyyMMddHHmmss") + ".txt";
fileStream = File.Create(dirInfo.FullName + fileName);
writer = new StreamWriter(fileStream, System.Text.Encoding.UTF8);
}
private void OutputVmcMotion(Message message)
{
if(message.address == "/VMC/Ext/Root/Pos" || message.address == "/VMC/Ext/Bone/Pos")
{
string address = message.address;
string name = (string)message.values[0];
Vector3 pos = new Vector3((float)message.values[1], (float)message.values[2], (float)message.values[3]);
Quaternion rot = new Quaternion((float)message.values[4], (float)message.values[5], (float)message.values[6], (float)message.values[7]);
writer.WriteLine($"a:{address}, n:{name}, p:{pos}, r:{rot}, t:{time}");
}
}
private void OnDestroy()
{
writer?.Close();
}
CreateFileAndWriter()で現時点をファイル名(txt)としてD:/MotionData/にVMCモーションデータを保存するファイルを作って、ファイルに書き込むStreamWriterを準備します。
OutputVmcMotion(Message message)でVMCのモーションデータをa:{address}, n:{name}, p:{pos}, r:{rot}, t:{time}の形で作ったファイルに保存します。
ファイルに書き込むことが終ったら(プログラムが中断されたら)OnDestroy()にStreamWriter.Close()でファイルを解放してください。
MOPモーションデータ(for UE4)の出力
Unreal Engine用のMOPモーションデータを保存するため、MopSender.csを改造します。
MopSender.cs
using System;
using System.IO;
private void Start()
{
//......省略
CreateFileAndWriter();
}
private void OnDestroy()
{
//......省略
writer?.Close();
}
private void SendMotion()
{
//......省略
time += Time.deltaTime;
}
private void PostBodySize()
{
for (var parameterIndex = 0; parameterIndex < BoneParameterNum; ++parameterIndex)
{
//......省略
OutputMopBodySize(message);
}
}
private void PostBones()
{
// var sb = new System.Text.StringBuilder();
for (var parameterIndex = 0; parameterIndex < BoneParameterNum; ++parameterIndex)
{
//......省略
uOSC.Message message = new uOSC.Message($"/Mop/BoneControl/{BoneNameList[parameterIndex]}",
-location.x * 100.0f, location.z * 100.0f, location.y * 100.0f,
-rotation.x, rotation.z, rotation.y, rotation.w);
this.sendBundle.Add(message);
OutputMopBone(message);
}
}
FileStream fileStream = null;
StreamWriter writer = null;
float time = .0f;
private void CreateFileAndWriter()
{
var dirInfo = Directory.CreateDirectory("D:/MotionData/");
string fileName = "MotionMop" + DateTime.Now.ToString("yyyyMMddHHmmss") + ".txt";
fileStream = File.Create(dirInfo.FullName + fileName);
writer = new StreamWriter(fileStream, System.Text.Encoding.UTF8);
}
private void OutputMopBodySize(uOSC.Message message)
{
string name = message.address;
Vector3 size = new Vector3(
Convert.ToSingle(message.values[0]),
Convert.ToSingle(message.values[1]),
Convert.ToSingle(message.values[2]));
string str = $"n:{name}, s:{size}, t:{time}";
writer.WriteLine(str);
}
private void OutputMopBone(uOSC.Message message)
{
string name = message.address;
Vector3 pos = new Vector3(
Convert.ToSingle(message.values[0]),
Convert.ToSingle(message.values[1]),
Convert.ToSingle(message.values[2]));
Quaternion rot = new Quaternion(
Convert.ToSingle(message.values[3]),
Convert.ToSingle(message.values[4]),
Convert.ToSingle(message.values[5]),
Convert.ToSingle(message.values[6]));
string str = $"n:{name}, p:{pos}, r:{rot}, t:{time}";
writer.WriteLine(str);
}
CreateFileAndWriter()で現時点をファイル名(txt)としてD:/MotionData/にMOPモーションデータを保存するファイルを作って、ファイルに書き込むStreamWriterを準備します。
Unreal Engineに転送するMOPモーションデータはBody Size(size)とBone Data(position, rotation)二種類があるらしいので、OutputMopBodySize(uOSC.Message message) と OutputMopBone(uOSC.Message message) を用いいします。VMCの場合はaddressとnameに分けていますが、MOPは骨パスはnameにまとめているらしいです。
Body Sizeはn:{name}, s:{size}, t:{time}、Bone Dataはn:{name}, p:{pos}, r:{rot}, t:{time}という感じにフォマードし、D:/MotionData/に記録されます。
プロジェクト実行
前回の記事の流れて(モーションデータの記録だけなので、UE4の部分は起動しなくても大丈夫)、VMCtoMOPリリース版の代わりに、今回作ったUnityプロジェクトを実行します。
実行されたら、スクリーンショットの感じでVMCとMOP両方のモーションデータが保存されるはずです。
最後
モーションデータを保存できて、画面上Key Annotationの描画やモーションの機械学習などができるかもしれないと思います。ただ、実際使いたいモーションデータのフォマードに合わせて一部追加改造が必要です。
自分がモーションについて知識が少ないので、またVMCとMOPについて詳しく調べたいと思います。
以上です。
