本日は、『映像におけるバーチャルプロダクションの可能性』について話したいと思います。
まずはこちらの映像から、、、
本日のスライド(ただし講義内容はスライドに即しているとは限りません)
Virtual Production バーチャルプロダクションとは
バーチャルプロダクション Virtual Production
撮影(Production)現場 に バーチャル(CG) を持ち込む技術
様々な技術を組み合わせていくと
今までにない表現が可能になる
合成、ポスプロのパイプライン(制作工程)が変わる
- スクリーンプロセスの原理←←これが原点です LEDパネル 大型化、低価格化、高精細化、HDR対応
- リアルタイム合成 ブルーバック/グリーンバック クロマキー、AR、XR合成技術との組み合わせ
- リアルタイムグラフィックス ゲームエンジン(UNREAL ENGINE)の発達、フォトリアルな表現
- バーチャルカメラ カメラトラッキング＋バーチャルセット/バーチャルスタジオ(90年代～)プレビズ(00年代～) オンセットビズの流れ(10年代～)
- バーチャルアセット バーチャル背景、バーチャルARセット
- バーチャルライト DMXコントロール リアルなLED照明の連動
- バーチャルキャラクター モーションキャプチャー、フィシャルキャプチャー
- カラーマネージメント HDR/シーンリニアワークフローの考え方 色の管理、色の合わせ
- モーションコントロール 同期 動きの制御、再現性、スクリーンコントロール、フレームレート
バーチャルとリアルの同期、連動
まずはここから
１. スクリーンプロセス
プロジェクションマッピングで説明したスクリーンプロセスのおさらいからしましょう。スクリーンプロセスというのは、スクリーンを被写体の後ろに配置してその前方や後方から映像を投影し、被写体と同時に撮影する手法のことを言います。特撮VFXの世界ではかなり初期のころから用いられてきました。実はこれが今回話をするバーチャルプロダクションの原点になるのです。
キングコング(3：18-)
さて、一方LEDパネルの普及によって、まったく新しい撮影方法の模索が始まりました。
映画『ゼログラビティGravity』(2013)に見る照明ライティングの実現です。これは複雑な照明の動きに対してLEDパネルで4方を囲ったケージと呼ばれるひとり分のスペースに役者と立たたせ、モーションコントロールカメラで動きを制御するものです。VFXはFramestore(英)
ここでは、バーチャルな背景ではなく、照明や映り込みのためのシミュレーションとしてLEDパネルが使われています。四方をLEDオアネルで囲ったゲージの中で女優サンドラ・ブロックの顔の部分だけを使っています。それ以外の部分はライティングの参考referenceとして使われています。
『ゼログラビティGravity』(2013)本編の抜粋です。
本当に息が詰まるほどの緊張感があります。ぜひ、全編をじっくり見てください。
映画『Oblivion オブリビオン』(2013)
LEDパネルによる屋外空間の再現
3台の高精細カメラで撮影した360°の実写パノラマの映像を三方囲んだLEDパネルに映しています。近未来の惑星の室内を映り込みなどすべて同時に撮影しています。ブルー/グリーンバックで撮影し、後でVFX合成するよりも制作工程を省くことに成功しています。
LEDパネルは今までは大変高価なものでした。50㎝四方で500万くらいしました。それが今では50万くらいまで価格が安くなりました。加えて色の再現力が格段に向上し、HDRと呼ばれる色深度まで再現できるようになりました。そこで、新しいオンセットでの運用が試みられるようになりました。その初めが『First Man』での巨大LEDを使ったスクリーンプロセスです。手がけたのは英国のVFXスタジオDNEG(ダブルネガティブ)です。
First Man ファーストマン(2019)
２. リアルタイム合成
さて、次にバーチャルプロダクションのもうふたつめの要素、合成について話をしたいと思います。
『リアルタイム』 というキーワード
UnityやUNREAL ENGINEなどのゲームエンジンがゲーム開発だけではなく、映画やドラマ、MV等でも使用され始めています。もはやゲームとCG、VFX、ライブパフォーマンスの領域での垣根はないように感じます。私たちもCGやゲームといった枠を超えて学んでいきたいものです。
Unityを使ったフルCGアニメーション
日本のPIXARを目指すマーザアニメーションエンターテイメントの作品。全編Unityで描画されています。
“THE GIFT” (created using “MARZA Movie Pipeline for Unity”) 本編
AR、XRへの流れ
2017年のeスポーツイベント。会場の人はこのARドラゴンを充分に堪能することは出来ませんでしたが、オンラインで視聴している人たちにとっては度肝を抜かれたと思います。
ここ数年のUNREAL ENGINEとエンターテイメント分野の発展にはすさまじい進化があります。そのひとつがメディアサーバーと呼ばれる高速に高解像度とLEDウォール、XR、AR合成画面を作り出すものです。disguiseもその代表的なメディアサーバー企業です。
その中でケティペリーのライブパフォーマンスは3面のLEDパネルの上で演技をしています。XRの拡張現実とARの手前に載せたCGが絶妙です。
Katy Perry – Daisies (Live From American Idol Finale, May 17 2020)
みなさんの方が詳しいであろうにじさんじなどのライブエンターテイメント
そのすべての技術は バーチャルプロダクション という新しい技術であり、映像、ビジュアル、エンタメ業界を塗り替えるぐらいのインパクトがあります。
３. リアルタイムグラフィックス
『Jungle book ジャングルブック』(2016)
ブルーバックで撮影しているものの事前に作成したCGをカメラトラッキングに合わせて描画し、合成していきます。撮影時に監督、カメラマン、役者などが確認しやすくなります。
ブルーバックでのバーチャルカメラの進化
自然物のCGによる再現
この時期にはCGによる自然物、風景、地形、動物などがリアルに表現できるようになっていったことも、バーチャルプロダクションとしての環境がそろったことにつながっています。
これはLion King ライオンキング(2019)
ANIM SQUARE 映画『ライオン・キング』の製作陣が語るVFXの裏側と”バーチャルプロダクション”
４. カメラトラッキング
virtual Set/Studio バーチャルセット/バーチャルスタジオ
グリーンバック、グリーンスクリーンのスタジオで背景をリアルタイムに描画してリアルタイムに合成するもの
90年代に始まり、テレビ局にはこの手のバーチャルセットがほとんど導入されています。特徴としてはグリーンバックやブルーバックの中でカメラトラッキングを行うことで背景のCGをリアルタイムに合成することです。テレビの生放送などで導入されています。
代表的なのはスペインのBrainStorm(日本の代理店は朋栄)
これらは生放送などで用いられていましたが、グリーンバックの素材も残せるため、後で合成し直すことも可能です。
オンセットビズ On-Set Vis
オンセットビズとは、プレビズのひとつの進化形です。事前にCGでシミュレーションすることがプレビズだとするとオンセット＝撮影現場で生合成による確認をしていく。あるいは生収録していくことを言います。
この流れもバーチャルプロダクションへの中間地点だといえると思います。
『パンナム』テレビシリーズ(2011)
60年代を象徴するパンアメリカン航空のスチュワーデスたちを巡るドラマ
ここでLEDの話をしましょう。
砲弾型DIP（1R1G1B)⇒独立したR(赤)G(緑)B(青)で1つの素子を構成。
従来の大型のビジョンに多い。
新しいSMD（3in1)⇒1つの素子でRGBを表現。
DIPよりも混色率が高く映像が美しいため近距離でもみやすい。
視野角が広いので正面からでなくてもみやすい。
LED素子の間隔をピッチと言います。今までのLED素子のピッチは6㎜～20㎜程度でしたが、現在は1㎜～3㎜になってきました。
そして、2018年、UNREALエンジンとカメラトラッキング、LEDパネルの組み合わせで今までになかった新しいプロダクションシステムが開発されていきます。
バーチャルプロダクションの登場です。
一番わかりやすいデモリール
そして、映画『マンダロリアン The Mandalorian』の中で
ILM＋Epic Games、UNREAL ENGINEという組み合わせによるバーチャルプロダクションをひとつ開花させていきます。
『マンダロリアン The Mandalorian』(2019)
カナダにあるVFX Studio PIXEL MONDO のVirtual Production
日本の状況
日本でもバーチャルプロダクションを設置する動きが急激に加速しています。昨年から今年にかけて様々なプロダクション、企業が名乗りを上げています。
SONY PCL 清澄白川
ヒビノ
Hibino VFX Studio
バンダイナムコ 未来研スタジオ
TOHO Studio x NETFLIX
LEDスクリーン中国ROE社「Black Pearl BP2」5m×15m＋4m×6mスクリーン、2.84mmピッチ高精細1500nit
BLACKBOXXスタジオ
音楽アーチストのライブ配信スタジオとして機能する4面LEDスタジオ。映画などのバーチャルスタジオではないが、今後はこの手のLEDスタジオも増えていくと思われる。
バーチャルプロダクションのまとめ
大切なことは、LEDパネルを撮影しているということ
つまりはLEDに映し出された映像がどのように撮影されているかを確認していかないと、本来のバーチャル(CG)で作られた正しい色や明るさを再現できないということになります。ここはまだまだ難しいところだし、実際のバーチャルプロダクションできちんと出来ているところは少ないと思います。みなさんは、正しい技術を理解してバーチャルプロダクションなどにも取り組めるようになっていってください。
まとめ
バーチャルプロダクション Virtual Production
撮影(Production)現場にバーチャル(CG)を持ち込む技術
様々な技術を組み合わせていくと
今までにない表現が可能になる合成、ポスプロのパイプライン(工程)が変わる
- スクリーンプロセスの原理←←←これが原点です LEDパネル 大型化、低価格化、高精細化、HDR対応
- リアルタイム合成 ブルーバック/グリーンバック クロマキー、AR、XR合成技術との組み合わせ
- リアルタイムグラフィックス ゲームエンジン(UNREAL ENGINE)の発達、フォトリアルな表現
- バーチャルカメラ カメラトラッキング＋バーチャルセット/バーチャルスタジオ(90年代～)プレビズ(00年代～) オンセットビズの流れ(10年代～)
- バーチャルアセット バーチャル背景、バーチャルARセット
- バーチャルライト DMXコントロール リアルなLED照明の連動
- バーチャルキャラクター モーションキャプチャー、フィシャルキャプチャー
- カラーマネージメント HDR/シーンリニアワークフローの考え方 色の管理、色の合わせ
- モーションコントロール 同期 動きの制御、再現性、スクリーンコントロール、フレームレート
バーチャルとリアルの同期、連動
まだまだ解決しなければいけない課題もある
- CG/VFXの工程がプリプロダクション化する(撮影までに制作)
- プリプロダクション、ポストプロダクションの工程が大きく変わる
- カメラ、レンズキャリブレーション、トラッキング
- スタジオでの調整のノウハウ 空間座標
- 誰がルック、データを管理するのか？CGVFXチーム？DIT？カラリスト？
MIRAI-LABO.(渡部健司研究室)でもバーチャルプロダクションに関する研究、開発をおこなっています。
『Virtual Production in IPUT/バーチャルプロダクションin IPUT』
“McDonald’s Friends” – a commercial shot entirely in Virtual Production
ソニーPCL「清澄白河BASE」最新バーチャルプロダクションスタジオで撮影。ステージ、CG背景、照明の連動が見事！
日向坂46『僕なんか』(2022)
バーチャルプロダクションではないが、背景がUNREAL ENGINEで作成。とうとうリアルタイムでCGを作る時代がやってきた。監督 安藤隼人。制作はP.I.C.S.
藤井 風 – damn（Official Video）
これまたバーチャルプロダクションではないが、バーチャルロケーションという切り口。有名な街並みをCGデータで用意しておくというサービス。これは渋谷のスクランブル交差点。足利にある『足利スクランブルシティスタジオ』
藤井 風 : Behind “damn”
足利スクランブルシティスタジオ
Def Tech – Automatic【Official Music Video】
ニコンクリエイツのスタジオで撮影。ボリュメトリックによるCGアバター、BOLTモーションコントロールカメラ、バーチャルプロダクションの組み合わせ
新曲「Automatic」MV最速公開 Def Tech × Nikon Creates 最先端撮影ロボット 異色セッション
もはやこれを何と呼ぶのか。SONYのLEDパネルCrystal LEDを配するバーチャルプロダクションスタジオ「清澄白河BASE」でCreepy Nutsが繰り広げる生パフォーマンス。シチュエーションとしては彼らが出演するラジオ番組ニッポン放送『オールナイトニッポン』の駐車場という設定からスタート。いくつかの背景替えを経て特別な空間を醸し出していく。
手掛けるのはGinza Sony Park。現実世界とバーチャル世界を超えた新しいスタイルのライブ配信と言える。
【Ginza Sony Park presents「Creepy Nuts」Special Live】2022.9.22（thu）19:30～
Behind the Scenes【Ginza Sony Park presents「Creepy Nuts」Special Live】2022.9.22（thu）19:30～
驚きのワンカット映像、その舞台裏を2画面で披露／「フォーティネット」ブランドムービー
「フォーティネット」ブランドムービー「Behind Your Success (Behind The Scenes)」
そのメイキングセット替えの大変さがうかがえる
技術の融合が次のイノベーションを生む。そのための基礎的な技術の習得、知識の収集をしていきましょう。
常に問題や課題点を捉え直し、次の解決に導いていって欲しいと思います。
(参考)
昨年のInterBEE(国際放送機器展)でのインタビューです。バーチャルプロダクションに関して拙者がしゃべっています。
