Motion Captureのパイプライン、ワークフロー、キーワードを解説していきたいと思います。
モーションキャプチャーとは？
歴史的な背景(ちょっとおまけな)
80年代、磁気式センサーデバイス(な、なんといまだに使われている！)が出てきました。Polhemus(ポヒマス)社製Fastrakとペン型レシーバーの組み合わせは当時としては画期的でモデリングのためのスキャンデバイス(製品名 : 3SPACE)として使っていました。ただし1ポイントづつ点座標を取るという原始的(?)なものでした。それでも人間のライブマスクや塑像をキャプチャーしていたのです。
『ウッチャンナンチャンのやるなばやらねば』OPタイトル
当時公開されたばかりの『ターミネーター２』のCGパロディーをやっていました。今見るとお粗末な感じもしますが、『ターミネーター２』公開直後に当時はかなり尖っていた気がします。フジテレビからウッチャンとナンチャンのライブマスク(石膏型)が届いたときにはびっくりしました。CGオープニングの3次元デジタイズのみを担当。ライブマスクを1週間で2体、デジタイズしてポリゴンメッシュ化までを制作しました。
当時の磁気式モーションキャプチャー
データグローブの例だけど、有線のケーブルがいっぱいあってとても動き回れるものではなかった。とにかく値段が高かった。
Polhemus の磁気式センサーは医療の分野などではいまだに使われているようです。
一方90年代にはいり、IK(Inverse Kinematics)のアルゴリズムが研究発表されました。それまでのモーションはすべてFK(Forward Kinematics)で、しかも手付けの方法しかありませんでした。
それが、IK(Inverse Kinematics)のアルゴリズムによって、モデルにスケルトン(ボーン)を入れ、スケルトンを動かすことでモデルを変形させるという発想は画期的だった、といえます。
最初にIKの機能を取り入れたのは「SOFTIMAGE(ソフトイマージュ)」(AUTODESK製：現在は開発凍結)で確か1991年ごろだったと思います。
しかし、実は世界的なアルゴリズムの発表はなんと日本がはるか先でした。ナムコ、ポリゴンピクチュアズの加藤敏明(エンジニア/プログラマー)が開発したアルゴリズムがSIGGRAPH’89で発表されました。今見ても、まったく遜色がないクオリティの高さです。彼は、その後Rhythm&Hues StudiosというCG/VFX studioに移籍します。
『In Search of Axis』シリーズ
In Search of New Axis(1989)/In Search of Muscular Axis(1990)/In Search of Performing Axis(1991)
残念ながら、VFXスタジオ Rhythm and Hues は2013年『Life of Pi』でアカデミー賞視覚効果賞を受賞しますが、その2週間後に倒産してしまいます。VFX業界のハリウッド全盛の時代の終焉でした。
1996年当時のRhythm & Hues Studios
最後の方に3次元デジタイザーでモデリングしている様子が少し出てくる
倒産のドキュメンタリー『Life After Pi』
当時、私もこのプログラムを使いました。それが、映像の冒頭に出てくる”ルーシー”(アウストラピテクス)の歩行シミュレーションです。国立科学博物館から”ルーシー”の骨のレプリカを借りて、上で紹介したPolhemus社製ペン型レシーバーでモデルをデジタイズして、アニメーションを完成させました。暗くてわかりにくいですが、最後のシーンには類人猿の毛の表現も行っています。当時はまだFurのアルゴリズムはなかったので、全部テクスチャーで表現しています。
NHKスペシャル『天才サルカンジ』
モーションキャプチャーとは
キャラクターやカメラの動きを外部デバイスを使用してリアルタイムに取り込む作業工程を モーションキャプチャー と呼ぶ Motion Capture をとって MOCAP と呼ぶこともある
ここで注意してほしいのは、MOCAPの考え方は外部デバイスをキャプチャーデバイスとしているということ。であるから、外部デバイスは何でもいいし、本来は常に変化していくし、新しいデバイスが開発され、変化していくもの、だということ。
外部デバイスは、マウスでも、キーボードでも、ゲームコントローラー、タブレット、MIDIコントローラー、ビーコンでも、何でもよい。キャプチャーしているのは2次元、3次元の空間座標だったり、ただの数値だったり、ということ。
参考 Motion Builder外部デバイス
今日は、MOCAPに必要なデバイスのうち、光学式、慣性式、モワレ式、磁気式、などを取り上げる。
IPUTにあるモーションキャプチャーデバイス(DE所有)
VICON 光学式 http://www.vicon.jp/
HTC VIVE PRO https://www.vive.com/jp/product/vive-pro-full-kit/
Perception Neuron Studio 慣性式 https://neuronmocap.com/ja/node/5088
Azure Kinect https://azure.microsoft.com/ja-jp/services/kinect-dk/
Leap Motion https://www.ultraleap.com/
また、MOCAPのパイプラインを構築していきたいと思います。(編集中)
また、MOCAPに運ぶモデルデータの仕様にも注意を払う必要があるので、リギング、ジョイント、ロケーター、コンストレイント、バインド、スキニング、スキンのウェイト調整、リターゲット、などのキーワードが重要になってきます。
簡単にそれぞれを解説しておきましょう。
–リギング
ボーン、スケルトン、ジョイント(骨、関節)を入れる作業、またはコンストレイント、ロケーターなどのセットアップまでを含めてリギングと呼ぶ Riging Rigger
–バインド 骨の影響力を編集する
–スキニング 変形時のくびれ、盛り上がりなどを調整する
–コンストレイント 制限（拘束）
–ロケーター 動かすための目印
–リターゲット キャラクターのリグ情報(階層)情報、プロポーションを別のキャラクターに割り当てること
–プロップセットアップ 基本的に動かないもの、硬いもののレイアウト
キャプチャーしたデータは正確に言うとそのままでは使えないものも含まれます。
noise、shake、欠落 などです。その原因としてはマーカーの落下、カメラの揺れ、電気的なノイズ、フォーカス、物理的にカメラの陰になる、などがあります。
https://slideplayer.com/slide/5841942/
Kinectのキャプチャーの仕組み モワレ式
Perception Neuron を使った例 モデルは旧型
モーションキャプチャーとロボット制御を組み合わせた例
VICON のツールSHOGUNの最新機能説明
VICONとEPIC GAMESが組むバーチャルプロダクション
主なモーションキャプチャーメーカー
- Charnwood Dynamics Ltd (Codamotion)
- Leyard (Opti Track)
- Motion Analysis Corporation
- Noraxon USA Inc.
- Notch Interfaces Inc.
- PhaseSpace Inc.
- Phoenix Technologies Inc.
- Qualisys AB
- Synertial UK Ltd.
- Vicon Motion Systems Ltd.
- Xsens Technologies BV
IPUTにあるモーションキャプチャーデバイス(DE所有)
VICON http://www.vicon.jp/
HTC VIVE PRO https://www.vive.com/jp/product/vive-pro-full-kit/
Perception Neuron Studio https://neuronmocap.com/ja/node/5088
Azure Kinect https://azure.microsoft.com/ja-jp/services/kinect-dk/
Leap Motion https://www.ultraleap.com/
トラッキングシステム
STYPE(国内代理店はナック)
https://stype.tv/
https://www.nacinc.jp/creative/brand/stype/
BLACKTRACK(ライトのトラッキングも出来る)
https://blacktrax.cast-soft.com/
PosiStageNet
https://www.posistage.net/
AUGMENTA
https://augmenta-tech.com/
トラッキング情報をFreeDプロトコル(映像信号に重層する？)
詳細不明
参考
