映像論 第14回 バーチャルプロダクション

さて、いよいよ映像論も最終局面です。

本日は、バーチャルプロダクションについて話したいと思います。

Virtual Production バーチャルプロダクション

 

 

Virtual Production バーチャルプロダクション

Virtual Production バーチャルプロダクションとは

バーチャルプロダクションとは、ここ数年の中で急速に広がった新しいプロダクションの表現技術、あるいはワークフロー、パイプラインのことです。


　　バーチャルプロダクションとは

プロダクション(実写撮影)の領域にバーチャルが押し寄せてきた

Weta Digital(ニュージーランド) CGI/VFX Studio

「バーチャル・プロダクションは現実世界とデジタル世界が遭遇する場所」

Moving Picture Company(MPC:英) CGI/VFX Studio

「バーチャル・プロダクションとは仮想現実とARをCGIとゲームエンジン技術で結合し、セットでキャプチャーし合成した時にそれを取り込んだシーンをその場で制作スタッフに確認ができるようにするもの」

引用：『バーチャル・プロダクションフィールド ガイド第1巻』

バーチャルプロダクション　Virtual Production

撮影(Production)現場にバーチャル(CG)を持ち込む技術

様々な技術を組み合わせていくと
今までにない表現が可能になる

合成、ポスプロのワークフロー、パイプライン(工程)がまったく変わる

そして、
2019年、Epic Gamesが発表したこの映像が世界中に伝えられ、ここから『バーチャルプロダクション Virtual Production』は全世界に広がっていきました。

1 スクリーンプロセスの原理←←←これが原点です
　LEDパネル 大型化、低価格化、高精細化、HDR対応
2 合成技術ブルーバック/グリーンバック クロマキー、マット合成、セットとのなじませ、XR、AR合成、デプスマット
3 バーチャルアセットバーチャルセット/バーチャルスタジオ(90年代～) TV局導入のスタジオセット
4 リアルタイムグラフィックス　UNREAL ENGINEなどのゲームエンジンの発達、リアルな表現
5 バーチャルカメラ(00年代～)カメラトラッキング、プレビズからの流れ　レンズキャリブレーション、ズーム、フォーカス
　オンセットビズの流れ(10年代～)
6 バーチャルライト照明との連動　DMXコントロール
7 バーチャルキャラクター　モーションキャプチャー
8 HDR/シーンリニアワークフロー
9 モーションコントロールモーションコントロールカメラ、動きの制御、コントロール、再現性

まだまだ解決しなければいけない課題もある

  • ポスプロCG/VFXの工程がプリプロダクション化する(撮影までに制作)
  • パイプラインが大きく変わる
  • カメラ、レンズキャリブレーション、トラッキング
  • スタジオでの調整のノウハウ　空間座標の一致
  • 誰がルック、データを管理するのか？CGVFXチーム？DIT？カラリスト？
  • デプス情報　FGとのリアルタイム合成　ARのFGBG切り替え
  • HFR(ハイフレームレート)同期によるグリーンバック(マット)の撮影、マルチカメラの可能性

 

まずはここから

スクリーンプロセス

プロジェクションマッピングで説明したスクリーンプロセスのおさらいからしましょう。スクリーンプロセスというのは、スクリーンを被写体の後ろに配置してその前方や後方から映像を投影し、被写体と同時に撮影する手法のことを言います。特撮VFXの世界ではかなり初期のころから用いられてきました。実はこれが今回話をするバーチャルプロダクションの原点になるのです。

キングコング(3：18-)

 

virtual Set/Studio バーチャルセット/バーチャルスタジオ

グリーンバック、グリーンスクリーンのスタジオで背景をリアルタイムに描画してリアルタイムに合成するもの

90年代に始まり、テレビ局にはこの手のバーチャルセットがほとんど導入されています。特徴としてはグリーンバックやブルーバックの中でカメラトラッキングを行うことで背景のCGをリアルタイムに合成することです。テレビの生放送などで導入されています。

代表的なのはスペインのBrainStorm(日本の代理店は朋栄)

www.for-a.co.jp
 
放送・映像制作バーチャルスタジオ - 製品情報 - 朋栄 - FOR-A
https://www.for-a.co.jp/products/professional/p_graphic_virtualproduction.html
バーチャルスタジオの製品一覧です。

これらは生放送などで用いられていましたが、グリーンバックの素材も残せるため、後で合成し直すことも可能です。

オンセットビズ On-Set Vis

この流れもバーチャルプロダクションへの中間地点だといえると思います。

さて、一方LEDパネルの普及によって、まったく新しい撮影方法の模索が始まりました。

映画『ゼログラビティGravity』(2013)に見る照明ライティングの実現です。これは複雑な照明の動きに対してLEDパネルで4方を囲ったケージと呼ばれるひとり分のスペースに役者と立たたせ、モーションコントロールカメラで動きを制御するものです。VFXはFramestore(英)

ここでは、バーチャルな背景ではなく、照明や映り込みのためのシミュレーションとしてLEDパネルが使われています。四方をLEDオアネルで囲ったゲージの中で女優サンドラ・ブロックの顔の部分だけを使っています。それ以外の部分はライティングの参考referenceとして使われています。

『ゼログラビティGravity』(2013)本編の抜粋です。

本当に息が詰まるほどの緊張感があります。ぜひ、全編をじっくり見てください。

 

www.fxguide.com
 
Please Wait... | Cloudflare
https://www.fxguide.com/fxfeatured/gravity/

 

映画『Oblivion オブリビオン』(2013)

LEDパネルによる屋外空間の再現

3台の高精細カメラで撮影した360°の実写パノラマの映像を三方囲んだLEDパネルに映しています。近未来の惑星の室内を映り込みなどすべて同時に撮影しています。ブルー/グリーンバックで撮影し、後でVFX合成するよりも制作工程を省くことに成功しています。

 

『Jungle book ジャングルブック』(2016)

ブルーバックで撮影しているものの事前に作成したCGをカメラトラッキングに合わせて描画し、合成していきます。撮影時に監督、カメラマン、役者などが確認しやすくなります。

ブルーバックでのバーチャルカメラの進化

自然物のCGによる再現

この時期にはCGによる自然物、風景、地形、動物などがリアルに表現できるようになっていったことも、バーチャルプロダクションとしての環境がそろったことにつながっています。

これはLion King ライオンキング(2019)

ANIM SQUARE 映画『ライオン・キング』の製作陣が語るVFXの裏側と”バーチャルプロダクション”

AnimSquare - CGアニメーターのための情報サイト
 
映画『ライオン・キング』の製作陣が語るVFXの裏側と"バーチャルプロダクショ...
https://animsquare.com/2019/08/technicolor_lionking/
テクニカラーは映画『ライオン・キング』のVFXに焦点を当てたページを公開した。今回はそのページに掲載されている動画を紹介する。”Fun Facts”としてMPCが最終的に1490ショットをデリバーしたことや、30カ国から130人のアニメーターが参加し7975ものアニメーション提出したことが書かれている。

LEDの進化とHDRの再現性

LEDパネルは今までは大変高価なものでした。50㎝四方で500万くらいしました。それが今では50万くらいまで価格が安くなりました。加えて色の再現力が格段に向上し、HDRと呼ばれる色深度まで再現できるようになりました。そこで、新しいオンセットでの運用が試みられるようになりました。その初めが『First Man』での巨大LEDを使ったスクリーンプロセスです。手がけたのは英国のVFXスタジオDNEG(ダブルネガティブ)です。

First Man ファーストマン(2019)

ここでLEDの話をしましょう。

砲弾型DIP（1R1G1B)⇒独立したR(赤)G(緑)B(青)で1つの素子を構成。
従来の大型のビジョンに多い。

新しいSMD（3in1)⇒1つの素子でRGBを表現。
DIPよりも混色率が高く映像が美しいため近距離でもみやすい。
視野角が広いので正面からでなくてもみやすい。

LED砲弾型LED-SMD

LED素子の間隔をピッチと言います。今までのLED素子のピッチは6㎜～20㎜程度でしたが、現在は1㎜～3㎜になってきました。

ブルーバックス | 講談社
 
最近よく聞く「ミニLED」と「マイクロLED」はどうすごいのか？（西田 宗千佳）
https://gendai.ismedia.jp/articles/-/79707
今年のCESのなかで、キーワードとして脚光を浴びたのが、「ミニLED」と「マイクロLED」だ。どちらもディスプレイ関連技術であり、テレビやPCなどのあり方を変えていく可能性を秘めたものだ。注目の「ディスプレイの新技術」について、基礎の基礎から解説しよう。
ソニー製品情報・ソニーストア
 
Crystal LEDとは | Crystal LED | ソニー
https://www.sony.jp/crystal-led/about/
Crystal LED

 

そして、2018年、UNREALエンジンとカメラトラッキング、LEDパネルの組み合わせで今までになかった新しいプロダクションシステムが開発されていきます。

 

そして、『マンダロリアン The Mandalorian』の中で

ILM＋Epic Games、UNREALエンジンという組み合わせがバーチャルプロダクションをひとつ開花させていきます。

『マンダロリアン The Mandalorian』(2019)

カナダにあるVFX Studio PIXEL MONDO のVirtual Production

Unreal Engine
 
バーチャルプロダクション ハブ - Unreal Engine
https://www.unrealengine.com/ja/virtual-production
バーチャルプロダクションが映画制作の技術と手法を変革しています。詳細をご覧ください。

日本の状況

日本でもバーチャルプロダクションを設置する動きが急激に加速しています。昨年から今年にかけて様々なプロダクション、企業が名乗りを上げています。

SONY PCL

cgworld.jp
 
https://cgworld.jp/interview/202012-snypcl-lb.html
https://cgworld.jp/interview/202012-snypcl-lb.html
CGトラッキング
 
LEDディスプレイをバックに撮影。バーチャルプロダクションのデモ映像 | CGトラッ...
https://cgtracking.net/cg-arts/vfx/virtual-production/
Sony PCL 、Studio Bros、Modeling Brosが手掛けたバーチャルプロダクションのデモ映像です。

ヒビノ
Hibino VFX Studio

ヒビノ株式会社 HIBINO
 
Hibino VFX Studio｜ヒビノビジュアル Div.｜ヒビノ株式会社 HIBINO
https://www.hibino.co.jp/visual/studio.html
インカメラVFXに必要な機能を備えたバーチャルプロダクションスタジオ「Hibino VFX Studio」についてご紹介します。

 

 

バンダイナムコ 未来研スタジオ

未来研スタジオ MIRAIKEN studio | バンダイナムコエンターテインメント公式サイト
 
未来研スタジオ MIRAIKEN studio | バンダイナムコエンターテインメント公式サイト
https://miraikenstudio.bn-ent.net
「MIRAIKEN studio」は、モーションキャプチャ技術や大型LED装置などを活用し、次元の壁を超えたゲームの世界のような表現を可能とする常設型のスタジオです。

TOHO Studio x NETFLIX

LEDスクリーン中国ROE社「Black Pearl BP2」5m×15m＋4m×6mスクリーン、2.84mmピッチ高精細1500nit

BLACKBOXXスタジオ

音楽アーチストのライブ配信スタジオとして機能する4面LEDスタジオ。映画などのバーチャルスタジオではないが、今後はこの手のLEDスタジオも増えていくと思われる。

BLACKBOX³
 
BLACKBOX³
https://blackboxxx.jp
「エンタメをタクラム、ハコ」をコンセプトにしたスタジオBLACKBOX（ブラックボックス）、大型LEDパネル(W9000mm×D4000mm×H4000mm)とメディアサーバーdisguise vx2を国内で初めて常設。何かに挑んで創り上げていきたいクリエイター・アーティストに向けて、新しい表現、新しい演出、新しい音楽が生まれるスタジオとして新宿御苑にオープン。

 

バーチャルプロダクションのまとめ

大切なことは、LEDパネルを撮影しているということ

つまりはLEDに映し出された映像がどのように撮影されているかを確認していかないと、本来のバーチャル(CG)で作られた正しい色や明るさを再現できないということになります。ここはまだまだ難しいところだし、実際のバーチャルプロダクションできちんと出来ているところは少ないと思います。みなさんは、正しい技術を理解してバーチャルプロダクションなどにも取り組めるようになっていってください。

まとめ
バーチャルプロダクション　Virtual Production

 

撮影(Production)現場にバーチャル(CG)を持ち込む技術

 

様々な技術を組み合わせていくと
今までにない表現が可能になる

合成、ポスプロのパイプライン(工程)が変わる

 

  • スクリーンプロセスの原理←←←これが原点です
  • ブルーバック/グリーンバック クロマキー技術との組み合わせ
  • バーチャルセット/バーチャルスタジオ(90年代～)
  • プレビズ　カメラトラッキング＋バーチャルカメラ(00年代～)
  • オンセットビズの流れ(10年代～)
  • LEDパネル 低価格化、高精細、HDR対応
  • HDR/シーンリニアワークフロー
  • DMX照明との連動
  • ゲームエンジン　UNREALの発達

 

まだまだ解決しなければいけない課題もある

  • CG/VFXの工程がプリプロダクション化する(撮影までに制作)
  • プリプロダクション、ポストプロダクションの工程が大きく変わる
  • カメラ、レンズキャリブレーション、トラッキング
  • スタジオでの調整のノウハウ　空間座標
  • 誰がルック、データを管理するのか？CGVFXチーム？DIT？カラリスト？

 

www.ask-media.jp
バーチャルプロダクション - ASK M&E : 株式会社 アスク メディア&エンタ...
https://www.ask-media.jp/our-vision/virtual-production.html
株式会社 アスク メディア&エンタープライズ営業部 (アスク・エムイー) が提案する、放送・業務用からプロシューマーまでの映像制作にフォーカスした製品を紹介します。
総合クリエイティブプロダクション｜goraku inc.
xR lab.発 バーチャルプロダクションシステム特許出願 ｜ goraku inc.
https://www.goraku.works/release/1655
映像・コンテンツ企画提案制作 クリエイティブプロダクション。 goraku inc. topics.

 

トラッキングシステム

STYPE(国内代理店はナック)
https://stype.tv/
https://www.nacinc.jp/creative/brand/stype/
BLACKTRACK(ライトのトラッキングも出来る)
https://blacktrax.cast-soft.com/
PosiStageNet
https://www.posistage.net/
AUGMENTA
https://augmenta-tech.com/

トラッキング情報をFreeDプロトコル(映像信号に重層する？)
詳細不明

smode.fr
Control Device
https://smode.fr/doc/ref/animation/device/control-device.htm
Use any external controller in MIDI or OSC, DMX and ArtNet

 

我がMIRAI-LABO.(渡部健司研究室)でもバーチャルプロダクションにかんする研究、開発をおこなっています。

今年の隣地実務実習の中でおこなった一つの成果『Virtual Production in IPUT2022』

学内で構築したバーチャルプロダクション
『Virtual Production in IPUT/バーチャルプロダクションin IPUT』

SixTONES –MV『共鳴』

ソニーPCL「清澄白河BASE」最新バーチャルプロダクションスタジオで撮影。ステージ、CG背景、照明の連動が見事！

日向坂46『僕なんか』(2022)

背景がUNREAL ENGINE。とうとうリアルタイムCGの時代がやってきた。監督　安藤隼人。制作はP.I.C.S.

技術の融合が次のイノベーションを生む。そのための基礎的な技術の習得、知識の収集をしていきましょう。

常に問題や課題点を捉え直し、次の解決に導いていって欲しいと思います。

 

昨年のInterBEE(国際放送機器展)でのインタビューです。

バーチャルプロダクションに関してしゃべっています。

 

関連記事:

Default Thumbnailバーチャルプロダクション(捕) Default ThumbnailVirtual Production Pipeline BIBLE Default Thumbnail『映像におけるバーチャルプロダクションの可能性』 Default Thumbnailデジ映表技応用 第14回(7/18) 先輩たちの話