Vision Pro時代の映画制作： アップルとブラックマジックデザインの没入型ビデオワークフロー

Leon Barnard 6 日前

映像の中に入り込み、実際にそこにいるような感覚を味わえるとしたらどうだろう？アップルのImmersive VideoワークフローとVision Pro用フォーマットは、ブラックマジックデザインの新しいURSA Cine Immersiveカメラとの組み合わせはまさにそれを実現している。キャプチャーからカラーグレーディングまで、この画期的なワークフローを詳しく見ていくことで、映画制作者がスクリーンのためのストーリーをどのように作り上げるのか、そしてその先のストーリーをどのように変えることができるのかを見ていこう。

ブラックマジックデザインのURSA Cine Immersiveは驚異的なスペックを持っている。秒間90フレームで動作する2つの8Kセンサーを搭載している。毎秒24フレームで動作する一般的な4kカメラは、毎秒2億1200万ピクセルを処理するが、URSA Cine Immersiveは毎秒1億575万ピクセルを処理するのだ。

なぜこのようなカメラが存在するのかを理解するためには、まずこのカメラが使用するプラットフォームを理解する必要がある。

アップル Vision Pro

アップル自身の言葉を借りれば、Vision Proは空間コンピュータだ。大きなスクリーンで映画を見たり、部屋にある物理的な物体のようにアプリを操作したり、閉じ込められているように感じることなく飛行機で仕事をしたりすることができる。どれも非常にクールだが、我々は純粋にエンターテインメントを観るためのデバイスとしてVision Proに注目している。

Vision Proは様々なメディアフォーマットに対応している。私たちは特に、Vision Proのために特別に設計された180度の立体映像フォーマットであるApple Immersive Videoに興味がある。これは、これまで経験したことのないフォーマットだ。従来の2Dメディアでは感情的な臨場感を感じることができるが、イマーシブメディアでは物理的な臨場感を感じることができる。

そのレベルのリアリズムを達成するために、視覚体験は人間の視覚の能力に匹敵し、場合によってはそれを超えるように設計されている。これを可能にする2つの重要な仕様がある。

まず、有機ELディスプレイの中で最も高いピクセル密度を持つビジョンプロのディスプレイだ。54個のVision Proピクセルは、iPhoneの16ピクセルに収まる。ピクセルが見えると没入感が損なわれるため、このピクセル密度は重要だ。

第二に、人間の視覚は1秒間に約70～80フレームで限界に達すると一般的に言われている。それ以上は知覚できない。したがって、イマーシブビデオは1秒間に90フレームで動作する。

Blackmagic URSA Cine Immersive

カメラは、ディスプレイシステムの要求を満たす必要がある。ここでURSA Cine Immersiveの話に戻る。

従来の4K DCI 収録と比較すると、Apple Immersive Videoはピクセル数が約5倍、フレームレートが約3倍、さらに立体視なのですべてが2倍となる。データレートは30倍以上だ！

以前のステレオ収録システムの多くは複雑だった。2台のカメラを必要とし、大型で複雑なリグを使用するものもあった。この複雑さはポストプロダクションでも続き、各カメラはそれぞれ別のファイルを作成し、それを同期させて共通のフォーマットに再投影しなければならなかった。

これは、ポストプロダクション工程が複雑なだけでなく、画像を劣化させた。これは、ビデオファイルを再エンコードする際に起こる画質劣化に似ている。画像を処理するたびに劣化が発生し、最終的な画像が納品されるまで蓄積されていく。

一方、URSA Cine ImmersiveとDaVinci Resolveを使ったワークフローははるかにシンプルで、ステップ数も少なくて済む。

没入型ビデオ撮影とワークフローの仕組み

URSA Cine Immersiveは、それぞれの目に別々の魚眼画像を収録する。

Lens Space’という用語は、レンズによって撮影されたネイティブフォーマットの画像を指すために使用される。ほとんどの180カメラや360カメラは魚眼レンズも使用している。しかし、画像が配信される前のある時点で、カメラの「Lens Space」からEquirectangular（LatLongとしても知られる）のような一般的なフォーマットに変換される。

しかし、Apple Immersive Videoの場合はそうではない！完成した画像がレンズ空間でVision Proに送られると知ったら驚くだろうか？完成したApple Immersive Videoには、カメラの2つのレンズとセンサーが捉えたオリジナルのフィッシュアイ画像が含まれている。その理由は主に2つある：

1. レンズスペースは180度画像に非常に適しており、画像の中心部のディテールを最大限に保持し、端に向かって画像を自然に圧縮する。イマーシブを見る場合、時間の大半は圧縮が最も少ない真正面を見ることに費やされる。しかし、片目8Kの場合、画像の端を直視しても、驚くほどのディテールが残っている。
2. 画像をあるフォーマットから別のフォーマットに変換するのは非効率的だ。レンズ空間では画像の端にある数ピクセルの小さなディテールが、四角い映像に再投影されると、特に両極では多くのピクセルを占めるように拡大する可能性がある。逆に、レンズ空間画像の中央にあるディテールを四角い映像に再投影すると、画像の中央にある余分な解像度の恩恵は受けられなくなる。

Apple Immersive Videoの目標は、可能な限り忠実度の高い映像を提供することだ。そのため、Immersive用に撮影された画像は、Vision Proに至るまで、ネイティブのレンズスペースで保存され、そこで初めて、そして唯一の再投影が行われる。

メタデータ革命

立体視カメラで共同作業を行うには、各レンズとセンサーのプロファイルを作成し、最終的に画像を再投影する際に些細な不一致を修正できるようにしなければならない。これは、人間の視覚を模倣した品質を提供しようとする場合に特に重要だ。

再投影はVision Pro上で一度だけ行われる。カメラは記録する際、工場出荷時のキャリブレーションをメタデータとしてBlackmagic RAWファイルに埋め込み、DaVinci Resolveで読み込めるようにする。DaVinci ResolveからImmersiveビデオファイルをレンダリングすると、カメラのキャリブレーションメタデータがVision Proで再生されるビデオファイルに埋め込まれる。1回の撮影で複数のカメラが使用される可能性があるため、DaVinci ResolveはImmersiveタイムラインのクリップごとに個別のメタデータを埋め込む。

そのファイルをVision Proで再生すると、それぞれのクリップのメタデータが動的にアンラップされ、再プロジェクションされる。

ここに、イマーシブビデオのワークフローにおけるBlackmagicとAppleの最大の革新の1つがある。このすべてが、ユーザーの介入なしに自動的に行われるため、従来のステレオスコピック制作ワークフローにおける最大の問題の1つが取り除かれる。

没入型ビデオワークフローの印象

Apple Immersiveの映像を説明するのは難しい。自分で体験するしかない。まだVision Proを試したことがない人は、友達に聞いてみるか、アップルストアに行って（デモの予約はこちら）、アップルのイマーシブコンテンツのライブラリーを見てみよう。

これは消費者にとってエキサイティングなだけでなく、映画制作者にとっても信じられないほどエキサイティングなことだ。カットの発明やシンクサウンドの出現のように、技術革新はストーリーの語り方を変える。

私たちは今、新たな革命の最中にいる。私たちの2Dストーリーテリングのテクニックのいくつかは、このメディアでは使えないだろう。しかし、すでに発見された新しいテクニックがあり、まだまだ発見されるべきものがある。

更なる情報

URSA Cine ImmersiveとApple Vision Proについてもっと知りたい方は、フルビデオをご覧いただきたい。

1. イマーシブコンテンツを制作する際に必要なクリエイティブな配慮について。
2. URSA Cine Immersiveを見学。
3. クルーとモデルを使ってテスト撮影。
4. DaVinci Resolveでの編集とカラーグレーディングのワークフローを体現。
5. Apple Immersive Video Utilityを使ってImmersiveビデオをVision Proに読み込む方法を紹介。

Blackmagic URSA Cine Immersiveワークフローに関するCineDのインタビュー

NAB 2025でBlackmagic Designに新しいカメラとワークフローについてインタビューを行った。

イマーシブ・フィルムメーカー・インタビュー『D-Day: The Camera Soldier』と『Bono – Stories of Surrender』

先日、Apple Vision Proの新作『Bono – Stories of Surrender』（Elad Offer、リンクはこちら）と『D-Day: The Camera Soldier』（Victor Agulhon、リンクはこちら）の制作者インタビュービデオを公開した。これらのインタビューは、この新しい没入型メディアにおける映画制作プロセスについての洞察を与えてくれる。