『映像におけるバーチャルプロダクションの可能性』

本日は、『映像におけるバーチャルプロダクションの可能性』について話したいと思います。

まずはこちらの映像から、、、

本日のスライド(ただし講義内容はスライドに即しているとは限りません)

Virtual Production バーチャルプロダクションとは

バーチャルプロダクション　Virtual Production

 

撮影(Production)現場　に　バーチャル(CG)　を持ち込む技術

 

様々な技術を組み合わせていくと
今までにない表現が可能になる

合成、ポスプロのパイプライン(制作工程)が変わる

 

  1. スクリーンプロセスの原理←←これが原点です　LEDパネル 大型化、低価格化、高精細化、HDR対応
  2. リアルタイム合成　ブルーバック/グリーンバック クロマキー、AR、XR合成技術との組み合わせ
  3. リアルタイムグラフィックス　ゲームエンジン(UNREAL ENGINE)の発達、フォトリアルな表現
  4. バーチャルカメラ　カメラトラッキング＋バーチャルセット/バーチャルスタジオ(90年代～)プレビズ(00年代～)　オンセットビズの流れ(10年代～)
  5. バーチャルアセット　バーチャル背景、バーチャルARセット
  6. バーチャルライト　DMXコントロール　リアルなLED照明の連動
  7. バーチャルキャラクター　モーションキャプチャー、フィシャルキャプチャー
  8. カラーマネージメント　HDR/シーンリニアワークフローの考え方　色の管理、色の合わせ
  9. モーションコントロール　同期　動きの制御、再現性、スクリーンコントロール、フレームレート
    バーチャルとリアルの同期、連動

まずはここから

１.　スクリーンプロセス

プロジェクションマッピングで説明したスクリーンプロセスのおさらいからしましょう。スクリーンプロセスというのは、スクリーンを被写体の後ろに配置してその前方や後方から映像を投影し、被写体と同時に撮影する手法のことを言います。特撮VFXの世界ではかなり初期のころから用いられてきました。実はこれが今回話をするバーチャルプロダクションの原点になるのです。

キングコング(3：18-)

さて、一方LEDパネルの普及によって、まったく新しい撮影方法の模索が始まりました。

映画『ゼログラビティGravity』(2013)に見る照明ライティングの実現です。これは複雑な照明の動きに対してLEDパネルで4方を囲ったケージと呼ばれるひとり分のスペースに役者と立たたせ、モーションコントロールカメラで動きを制御するものです。VFXはFramestore(英)

ここでは、バーチャルな背景ではなく、照明や映り込みのためのシミュレーションとしてLEDパネルが使われています。四方をLEDオアネルで囲ったゲージの中で女優サンドラ・ブロックの顔の部分だけを使っています。それ以外の部分はライティングの参考referenceとして使われています。

『ゼログラビティGravity』(2013)本編の抜粋です。

本当に息が詰まるほどの緊張感があります。ぜひ、全編をじっくり見てください。

 

www.fxguide.com
 
Please Wait... | Cloudflare
https://www.fxguide.com/fxfeatured/gravity/

映画『Oblivion オブリビオン』(2013)

LEDパネルによる屋外空間の再現

3台の高精細カメラで撮影した360°の実写パノラマの映像を三方囲んだLEDパネルに映しています。近未来の惑星の室内を映り込みなどすべて同時に撮影しています。ブルー/グリーンバックで撮影し、後でVFX合成するよりも制作工程を省くことに成功しています。

LEDパネルは今までは大変高価なものでした。50㎝四方で500万くらいしました。それが今では50万くらいまで価格が安くなりました。加えて色の再現力が格段に向上し、HDRと呼ばれる色深度まで再現できるようになりました。そこで、新しいオンセットでの運用が試みられるようになりました。その初めが『First Man』での巨大LEDを使ったスクリーンプロセスです。手がけたのは英国のVFXスタジオDNEG(ダブルネガティブ)です。

First Man ファーストマン(2019)

 

２.　リアルタイム合成

さて、次にバーチャルプロダクションのもうふたつめの要素、合成について話をしたいと思います。

『リアルタイム』　というキーワード

UnityやUNREAL ENGINEなどのゲームエンジンがゲーム開発だけではなく、映画やドラマ、MV等でも使用され始めています。もはやゲームとCG、VFX、ライブパフォーマンスの領域での垣根はないように感じます。私たちもCGやゲームといった枠を超えて学んでいきたいものです。

Unityを使ったフルCGアニメーション

日本のPIXARを目指すマーザアニメーションエンターテイメントの作品。全編Unityで描画されています。
“THE GIFT” (created using “MARZA Movie Pipeline for Unity”) 本編

AR、XRへの流れ

2017年のeスポーツイベント。会場の人はこのARドラゴンを充分に堪能することは出来ませんでしたが、オンラインで視聴している人たちにとっては度肝を抜かれたと思います。

ここ数年のUNREAL ENGINEとエンターテイメント分野の発展にはすさまじい進化があります。そのひとつがメディアサーバーと呼ばれる高速に高解像度とLEDウォール、XR、AR合成画面を作り出すものです。disguiseもその代表的なメディアサーバー企業です。

その中でケティペリーのライブパフォーマンスは3面のLEDパネルの上で演技をしています。XRの拡張現実とARの手前に載せたCGが絶妙です。
Katy Perry – Daisies (Live From American Idol Finale, May 17 2020)

みなさんの方が詳しいであろうにじさんじなどのライブエンターテイメント

そのすべての技術は　バーチャルプロダクション　という新しい技術であり、映像、ビジュアル、エンタメ業界を塗り替えるぐらいのインパクトがあります。

３.　リアルタイムグラフィックス

『Jungle book ジャングルブック』(2016)

ブルーバックで撮影しているものの事前に作成したCGをカメラトラッキングに合わせて描画し、合成していきます。撮影時に監督、カメラマン、役者などが確認しやすくなります。

ブルーバックでのバーチャルカメラの進化

自然物のCGによる再現

この時期にはCGによる自然物、風景、地形、動物などがリアルに表現できるようになっていったことも、バーチャルプロダクションとしての環境がそろったことにつながっています。

これはLion King ライオンキング(2019)

ANIM SQUARE 映画『ライオン・キング』の製作陣が語るVFXの裏側と”バーチャルプロダクション”

AnimSquare - CGアニメーターのための情報サイト
 
映画『ライオン・キング』の製作陣が語るVFXの裏側と"バーチャルプロダクショ...
https://animsquare.com/2019/08/technicolor_lionking/
テクニカラーは映画『ライオン・キング』のVFXに焦点を当てたページを公開した。今回はそのページに掲載されている動画を紹介する。”Fun Facts”としてMPCが最終的に1490ショットをデリバーしたことや、30カ国から130人のアニメーターが参加し7975ものアニメーション提出したことが書かれている。

 

４.　カメラトラッキング

virtual Set/Studio バーチャルセット/バーチャルスタジオ

グリーンバック、グリーンスクリーンのスタジオで背景をリアルタイムに描画してリアルタイムに合成するもの

90年代に始まり、テレビ局にはこの手のバーチャルセットがほとんど導入されています。特徴としてはグリーンバックやブルーバックの中でカメラトラッキングを行うことで背景のCGをリアルタイムに合成することです。テレビの生放送などで導入されています。

代表的なのはスペインのBrainStorm(日本の代理店は朋栄)

www.for-a.co.jp
 
放送・映像制作バーチャルスタジオ - 製品情報 - 朋栄 - FOR-A
https://www.for-a.co.jp/products/professional/p_graphic_virtualproduction.html
バーチャルスタジオの製品一覧です。

これらは生放送などで用いられていましたが、グリーンバックの素材も残せるため、後で合成し直すことも可能です。

オンセットビズ On-Set Vis
オンセットビズとは、プレビズのひとつの進化形です。事前にCGでシミュレーションすることがプレビズだとするとオンセット＝撮影現場で生合成による確認をしていく。あるいは生収録していくことを言います。
この流れもバーチャルプロダクションへの中間地点だといえると思います。
『パンナム』テレビシリーズ(2011)
60年代を象徴するパンアメリカン航空のスチュワーデスたちを巡るドラマ

ここでLEDの話をしましょう。

砲弾型DIP（1R1G1B)⇒独立したR(赤)G(緑)B(青)で1つの素子を構成。
従来の大型のビジョンに多い。

新しいSMD（3in1)⇒1つの素子でRGBを表現。
DIPよりも混色率が高く映像が美しいため近距離でもみやすい。
視野角が広いので正面からでなくてもみやすい。

LED砲弾型LED-SMD

LED素子の間隔をピッチと言います。今までのLED素子のピッチは6㎜～20㎜程度でしたが、現在は1㎜～3㎜になってきました。

ブルーバックス | 講談社
 
最近よく聞く「ミニLED」と「マイクロLED」はどうすごいのか？（西田 宗千佳）
https://gendai.ismedia.jp/articles/-/79707
今年のCESのなかで、キーワードとして脚光を浴びたのが、「ミニLED」と「マイクロLED」だ。どちらもディスプレイ関連技術であり、テレビやPCなどのあり方を変えていく可能性を秘めたものだ。注目の「ディスプレイの新技術」について、基礎の基礎から解説しよう。
ソニー製品情報・ソニーストア
 
Crystal LEDとは | Crystal LED | ソニー
https://www.sony.jp/crystal-led/about/
Crystal LED

そして、2018年、UNREALエンジンとカメラトラッキング、LEDパネルの組み合わせで今までになかった新しいプロダクションシステムが開発されていきます。

バーチャルプロダクションの登場です。

一番わかりやすいデモリール

そして、映画『マンダロリアン The Mandalorian』の中で

ILM＋Epic Games、UNREAL ENGINEという組み合わせによるバーチャルプロダクションをひとつ開花させていきます。

『マンダロリアン The Mandalorian』(2019)

カナダにあるVFX Studio PIXEL MONDO のVirtual Production

Unreal Engine
 
バーチャルプロダクション ハブ - Unreal Engine
https://www.unrealengine.com/ja/virtual-production
バーチャルプロダクションが映画制作の技術と手法を変革しています。詳細をご覧ください。

日本の状況

日本でもバーチャルプロダクションを設置する動きが急激に加速しています。昨年から今年にかけて様々なプロダクション、企業が名乗りを上げています。

SONY PCL 清澄白川

cgworld.jp
 
https://cgworld.jp/interview/202012-snypcl-lb.html
https://cgworld.jp/interview/202012-snypcl-lb.html
CGトラッキング
 
LEDディスプレイをバックに撮影。バーチャルプロダクションのデモ映像 | CGトラッ...
https://cgtracking.net/cg-arts/vfx/virtual-production/
Sony PCL 、Studio Bros、Modeling Brosが手掛けたバーチャルプロダクションのデモ映像です。

ヒビノ
Hibino VFX Studio

ヒビノ株式会社 HIBINO
 
Hibino VFX Studio｜ヒビノビジュアル Div.｜ヒビノ株式会社 HIBINO
https://www.hibino.co.jp/visual/studio.html
インカメラVFXに必要な機能を備えたバーチャルプロダクションスタジオ「Hibino VFX Studio」についてご紹介します。

 

 

バンダイナムコ 未来研スタジオ

未来研スタジオ MIRAIKEN studio | バンダイナムコエンターテインメント公式サイト
 
未来研スタジオ MIRAIKEN studio | バンダイナムコエンターテインメント公式サイト
https://miraikenstudio.bn-ent.net
「MIRAIKEN studio」は、モーションキャプチャ技術や大型LED装置などを活用し、次元の壁を超えたゲームの世界のような表現を可能とする常設型のスタジオです。

TOHO Studio x NETFLIX

LEDスクリーン中国ROE社「Black Pearl BP2」5m×15m＋4m×6mスクリーン、2.84mmピッチ高精細1500nit

BLACKBOXXスタジオ

音楽アーチストのライブ配信スタジオとして機能する4面LEDスタジオ。映画などのバーチャルスタジオではないが、今後はこの手のLEDスタジオも増えていくと思われる。

BLACKBOX³
 
BLACKBOX³
https://blackboxxx.jp
「エンタメをタクラム、ハコ」をコンセプトにしたスタジオBLACKBOX（ブラックボックス）、大型LEDパネル(W9000mm×D4000mm×H4000mm)とメディアサーバーdisguise vx2を国内で初めて常設。何かに挑んで創り上げていきたいクリエイター・アーティストに向けて、新しい表現、新しい演出、新しい音楽が生まれるスタジオとして新宿御苑にオープン。

 

バーチャルプロダクションのまとめ

大切なことは、LEDパネルを撮影しているということ

つまりはLEDに映し出された映像がどのように撮影されているかを確認していかないと、本来のバーチャル(CG)で作られた正しい色や明るさを再現できないということになります。ここはまだまだ難しいところだし、実際のバーチャルプロダクションできちんと出来ているところは少ないと思います。みなさんは、正しい技術を理解してバーチャルプロダクションなどにも取り組めるようになっていってください。

まとめ
バーチャルプロダクション　Virtual Production

 

撮影(Production)現場にバーチャル(CG)を持ち込む技術

 

様々な技術を組み合わせていくと
今までにない表現が可能になる

合成、ポスプロのパイプライン(工程)が変わる

 

  1. スクリーンプロセスの原理←←←これが原点です　LEDパネル 大型化、低価格化、高精細化、HDR対応
  2. リアルタイム合成　ブルーバック/グリーンバック クロマキー、AR、XR合成技術との組み合わせ
  3. リアルタイムグラフィックス　ゲームエンジン(UNREAL ENGINE)の発達、フォトリアルな表現
  4. バーチャルカメラ　カメラトラッキング＋バーチャルセット/バーチャルスタジオ(90年代～)プレビズ(00年代～)　オンセットビズの流れ(10年代～)
  5. バーチャルアセット　バーチャル背景、バーチャルARセット
  6. バーチャルライト　DMXコントロール　リアルなLED照明の連動
  7. バーチャルキャラクター　モーションキャプチャー、フィシャルキャプチャー
  8. カラーマネージメント　HDR/シーンリニアワークフローの考え方　色の管理、色の合わせ
  9. モーションコントロール　同期　動きの制御、再現性、スクリーンコントロール、フレームレート
    バーチャルとリアルの同期、連動

 

まだまだ解決しなければいけない課題もある

  • CG/VFXの工程がプリプロダクション化する(撮影までに制作)
  • プリプロダクション、ポストプロダクションの工程が大きく変わる
  • カメラ、レンズキャリブレーション、トラッキング
  • スタジオでの調整のノウハウ　空間座標
  • 誰がルック、データを管理するのか？CGVFXチーム？DIT？カラリスト？

 

www.ask-media.jp
バーチャルプロダクション - ASK M&E : 株式会社 アスク メディア&エンタ...
https://www.ask-media.jp/our-vision/virtual-production.html
株式会社 アスク メディア&エンタープライズ営業部 (アスク・エムイー) が提案する、放送・業務用からプロシューマーまでの映像制作にフォーカスした製品を紹介します。
総合クリエイティブプロダクション｜goraku inc.
xR lab.発 バーチャルプロダクションシステム特許出願 ｜ goraku inc.
https://www.goraku.works/release/1655
映像・コンテンツ企画提案制作 クリエイティブプロダクション。 goraku inc. topics.

MIRAI-LABO.(渡部健司研究室)でもバーチャルプロダクションに関する研究、開発をおこなっています。

『Virtual Production in IPUT/バーチャルプロダクションin IPUT』

 

では、
いくつかバーチャルプロダクションを使った映像を見ていくことにしましょう。

“McDonald’s Friends” – a commercial shot entirely in Virtual Production

SixTONES –MV『共鳴』
ソニーPCL「清澄白河BASE」最新バーチャルプロダクションスタジオで撮影。ステージ、CG背景、照明の連動が見事！

日向坂46『僕なんか』(2022)
バーチャルプロダクションではないが、背景がUNREAL ENGINEで作成。とうとうリアルタイムでCGを作る時代がやってきた。監督　安藤隼人。制作はP.I.C.S.

藤井 風 – damn（Official Video）
これまたバーチャルプロダクションではないが、バーチャルロケーションという切り口。有名な街並みをCGデータで用意しておくというサービス。これは渋谷のスクランブル交差点。足利にある『足利スクランブルシティスタジオ』

藤井 風 : Behind “damn”

足利スクランブルシティスタジオ

Def Tech – Automatic【Official Music Video】
ニコンクリエイツのスタジオで撮影。ボリュメトリックによるCGアバター、BOLTモーションコントロールカメラ、バーチャルプロダクションの組み合わせ

新曲「Automatic」MV最速公開 Def Tech × Nikon Creates 最先端撮影ロボット 異色セッション

もはやこれを何と呼ぶのか。SONYのLEDパネルCrystal LEDを配するバーチャルプロダクションスタジオ「清澄白河BASE」でCreepy Nutsが繰り広げる生パフォーマンス。シチュエーションとしては彼らが出演するラジオ番組ニッポン放送『オールナイトニッポン』の駐車場という設定からスタート。いくつかの背景替えを経て特別な空間を醸し出していく。
手掛けるのはGinza Sony Park。現実世界とバーチャル世界を超えた新しいスタイルのライブ配信と言える。

【Ginza Sony Park presents「Creepy Nuts」Special Live】2022.9.22（thu）19:30～

Behind the Scenes【Ginza Sony Park presents「Creepy Nuts」Special Live】2022.9.22（thu）19:30～

驚きのワンカット映像、その舞台裏を2画面で披露／「フォーティネット」ブランドムービー

「フォーティネット」ブランドムービー「Behind Your Success (Behind The Scenes)」
そのメイキングセット替えの大変さがうかがえる

技術の融合が次のイノベーションを生む。そのための基礎的な技術の習得、知識の収集をしていきましょう。
常に問題や課題点を捉え直し、次の解決に導いていって欲しいと思います。

(参考)
昨年のInterBEE(国際放送機器展)でのインタビューです。バーチャルプロダクションに関して拙者がしゃべっています。

関連記事:

Default Thumbnail映像論 第14回 バーチャルプロダクション Default ThumbnailVirtual Production Pipeline BIBLE Default Thumbnailホロ研(Holo Lab.) Default Thumbnailアバターを作る