2023年3月22日
著者： Peter Postma, Managing Director Americas, FilmLight

VFXや編集は以前からクラウドで可能でしたが、カラーコレクションには独特の課題があります。

IBC2022のショーケース・シアターのセッションで、AWSのコンテンツ制作メディア＆エンターテイメント担当のカトリーナ・キングは、次のように述べています： “終了することなくクラウドにコンテンツを取り込むことは、本質的にどこにもつながらない橋です。”

FilmLightは、AWSと協力してこれらの課題を解決する機会を得たことを嬉しく思っており、NAB2023でこのトピックについてさらに発表することを楽しみにしています。

カラーコレクションとは何でしょうか？
カラーコレクションは、映画制作の最後のクリエイティブなステップです。映像が完成し、様々な形で配給される前に、映像に微調整を加える最後の機会です。つまり、撮影監督、プロデューサー、ディレクターにとって、映像がどのように見えるかについて、最終的な意見を述べる最後のチャンスなのです。

映像の色、トーン、テクスチャーを調整するのが主な仕事なので、カラーコレクションと呼ばれています。この作業はリアルタイムで行われるため、カラリストは通常、自分の作業に対するフィードバックを素早く受けることができます。

また、予告編や公開日はすでに告知されており、配信の期日も決まっていて、それを守る必要があることも考えられます。そのため、仕上げのための時間があまりないのが普通で、カラリストは対話的で迅速な作業が必要になります。

撮影現場で起きたことを修正するような、小さな変更もあります。例えば、数分で終わるはずのシーンが、実際には数日間かけて撮影されたものを修正するような場合です。この場合、映像に一貫性とまとまりを持たせ、まるですべてが一度に終わったかのようにすることが求められます。あるいは、カラリストがよりドラマチックに色を変えて、作品の感情に影響を与え、映像のストーリー性を高めることもあります。

しかし、カラーコレクションは、デジタルインターミディエイト（DI）、カラーマスタリング、ピクチャーフィニッシングと呼ばれることが多く、これは、色の変更だけでなく、人の顔のしわを滑らかにする、空の入れ替え、ショットからブームを取り除くなどの軽いVFX作業も、グレーディングルームで行われることが多くなったことに由来しています。

FilmLightのカラーコレクターはBaselightと呼ばれています。カラリストはここに高解像度の最終映像を持ち込み、納品前に可能な限り高い品質で最終仕上げを行います。カラリストは、スピードアップのために、Blackboard 2などのコントロールパネルを使用することもあります。このパネルでは、ボタンを押すだけで、Baselightソフトウェアのすべての機能を使用することができます。

なぜクラウドでカラーを？
従来、カラーコレクションは、ハードウェアを設置して施設内で完結していました。では、なぜそれをクラウドに移行しようと思ったのでしょうか。

第一の理由は、柔軟性です。COVID-19の影響により、プロダクション施設の業務形態が変化し、リモート作業ソリューションの必要性が高まっています。クラウドで運用することで、カラリストはリモートで作業できるため、常にポスト施設にいる必要はありません。しかし、ポストプロダクションでは、カラリストが最後の数枚のVFXショットやタイトルを待って、仕上げをすることが一般的です。クラウド上で操作できるオプションがあれば、必要なものを待つ間、施設内で座っている必要がなく、必要に応じて遠隔で最終編集を行うことができます。

2つ目の理由は、スケーラビリティです。クラウドを利用することで、ポストハウスは追加インスタンスやハードウェアリソースを迅速に展開することができます。つまり、仕事が増えたらポストハウスを大きくし、需要が減ったら小さくすることができます。また、仕事に合わせてハードウェアを拡張することも可能です。例えば、SDRのCMを通常のHDで仕上げる場合、4Kの長編映画を納品する場合ほど高性能なハードウェアは必要ありません。

しかし、ポストプロダクションのほとんどを従来の方法で行い、カラーコレクションだけクラウドに移行するということは、まずないでしょう。しかし、ワークフローの他の部分がすべてクラウド化されている場合、ローカルでグレーディングするためにアセットをアップロードしたりダウンロードしたりするのは意味がないことです。

伝統的なカラーセッション
今日の典型的なカラーセッションは、カラーコレクション専用の部屋であるグレーディングスイートで行われます。そこには、入念にキャリブレーションされたモニターやプロジェクターが置かれ、カラリストがコントロールパネルで作業しています。

従来は、専用のハードウェアをオンサイトで使用するのが最速で最も堅牢な方法でした。特にハイエンド作品では、8Kのソースを使い、4Kまたは8Kで仕上げを行うことがあります。

このような高解像度で色補正を行うためには、カラリストは高速な映像処理を必要とします。そのため、私たちのローカルハードウェアシステムには複数のGPUが搭載されており、一度に複数のフレームを処理し、通常4k 24fps以上のスピードで再生することができます。

もうひとつ、ローカルハードウェアを導入した方が良い理由は、非常に低いレイテンシーを実現できることです。カラリストがノブのコントロールを調整するとき、映像が変化するのをすぐに確認する必要があります。カラリストが操作するのを止めても映像が変化し続けるようなタイムラグがあると、クリエイティブなプロセスが遅くなってしまうからです。この低遅延の要件は、Color in the Cloudのプロジェクトに取り組む際の重要な課題の1つでした。

カラリストが最後に必要とするのは、適切な視聴環境であり、適切にキャリブレーションされたモニターで、自分が見ているものが基準規格と一致していることを信頼できるようにすることです。そして、モニターに送る信号も、妥協のないものが必要です。これは必ずしも非圧縮であることを意味するわけではありませんが、カラリストの役割の一つは品質チェックを行うことなので、圧縮によって映像の判断が損なわれることがあってはなりません。

カラリストが映像に何らかの問題を発見した場合、それがどこから来ているのかを特定する必要があります。例えば、画像の不具合は素材から受け継いだものである可能性があり、それを修正したり、別のテイクを使用する必要があるかもしれません。特にVFXを扱う場合、カラリストが適用したグレードがコンポジットを分離し、継ぎ目のエッジを見せ始めた場合、グレードが何かを引き起こした可能性があります。あるいは、映像をどのようにモニターしているかに関係している可能性もあります。圧縮された出力をモニターしているときに映像の不具合が発生した場合、その原因が素材にあるのか、それとも視聴方法にあるのかがわからなくなり、作業が中断されたり、遅くなったりする可能性があります。

HEVCストリーミング
BaselightにはClient Viewというツールが組み込まれており、H.265やHEVCストリーミングを使用して、クライアントが映像をリモートで見ることができます。つまり、撮影監督や 監督がカラリストと一緒に部屋にいることができない場合、iPad proやキャリブレーションされたSDIモニターで、Baselightからストリーミングされる映像を見ることができるのです。また、メタデータ用のサムネイルオーバービューも用意されているので、カラリストが作業している間に、リアルタイムでメモを取ったり、ショットにフラグを立てたり、タイムラインをスクロールすることができます。HEVC圧縮は、良い映像を実現するために多くの帯域幅を必要としないため、このような用途には非常に適しています。完全に妥協しているわけではなく、圧縮のアーティファクトは残りますが、撮影監督や 監督が判断し、作品の方向性について解説できるような非常に高品質な映像を提供することができます。

HEVCが高いデータレートを実現する方法の1つは、フレーム間圧縮を利用することです。つまり、複数のフレームを見て、ピクセルがフレーム間でそれほど変化しない場所をチェックしたり、主要なオブジェクトの動きをチェックして、毎回送信するのではなく、ピクセルをコピーしたりするのです。このため、ビデオストリームを圧縮するのに非常に効率的ですが、複数のフレームがレンダリングされるのを待ってから、そのフレーム間の動きを調べて送信する必要があるため、待ち時間が発生します。

これは、クライアントセッションでカラリストが変更を加え、撮影監督や 監督に「どう見えるか」と言う場合に有効です。このような1、2秒の遅延は、クライアントとの作業では問題ありませんが、カラリストがコントロールを調整する場合は、完全にインタラクティブである必要があります – 1、2秒の遅延は、クリエイティブプロセスを遅らせることになります。

もう一つの問題は、HEVCを扱うための利用可能なハードウェアとソフトウェアのほとんど、特に映像内GPUに組み込まれたチップが、HDRの要件である12ビットに対応していないことです。

HEVC圧縮では、その他のエッジアーティファクトも目につきます。HEVCのデータレートを調整してこれらを回避することもできますが、カラリストが信頼できる妥協のない映像を求めるなら、これらをできるだけ抑えた圧縮アルゴリズムを採用したほうがよいでしょう。

カラーコレクションでは、映像の質感も重要な要素です。色調や色だけでなく、目がどれほどシャープか、映像の粒状性、肌の滑らかさ、映像の光やハレーション、フィルムを模倣するのかデジタルのようにシャープにするのか、などを見ていくのです。このような繊細な部分は、圧縮アルゴリズムによって最初に失われるものの1つです。

JPEG-XS
そのため、Amazonとの実装では、映像参照用ストリーミングにJPEG-XSコーデックを使用しています。10ビットや12ビットの圧縮が可能で、低遅延であり、圧縮を開始するためにフルフレームのレンダリングを必要としないため、遅延や待ち時間を最小限に抑えることができるのです。また、圧縮率が高く、4:1、5:1、6:1の圧縮でも、アーティファクトがなく妥協のない映像を実現することができます。

また、数学的なロスレスもサポートしているので、帯域幅があれば、将来的に完全なロスレスオプションに移行することも可能です。

AWS/ FilmLightによるクラウドでのフィニッシング
クラウド上でのカラーコレクションを実現するのに必要な多くの要件を満たすために、AWSはもともと放送用に作られたCDI（Cloud Digital Interface）を再利用し、AWSクラウド上でビデオを伝送するようにしました。クラウドからオンプレムへの転送には、ST2110-22でJPEG XSをサポートするAWS Elemental MediaConnectを使用し、デコーダーではRIEDELとEvertzと提携しています。

「妥協のないライブリファレンスグレードモニタリングのための『肩越しの感覚』を実現しました」とキングは述べています。「このワークフローは、コンポジットやマスターQCなど、クラウドベースのリファレンスモニタリングの恩恵を受けられるあらゆるワークフローで使ってもらいたいと考えています」。

FilmLightでは、この技術をさらに発展させるために、いくつかのスタジオパートナーとともに、ここ数ヶ月間、AWSでこのソリューションのテストを行ってきました。

Colour in the Cloud

NAB
FilmLightのPeter Postma、カラリストのLou Levinson、AWSのMarlon Camposは、NAB 2023のSMPTEフロアセッションで「Remote Collaborations – Colour Grading in the Cloud」と題してこのテーマをさらに掘り下げます。4月16日（日）午後1時から西ホール（#W3421）で開催される予定です。 このセッションの詳細については、NABをご覧ください。

Baselightは、NABのAWSブース（W1701）で行われるColor in the cloudワークフローのデモの一部にもなっています。