2020年9月3日讀畢需時 10 分鐘

LED 牆的虛擬製作，第一部分：曼達洛人（The Mandalorian）的經驗教訓

已更新：2021年11月29日

喬恩·法夫羅（Jon Favreau）與Light & Magic（ILM）合作的魔像創作公司（Elem Games）與Epic Games合作，透過一種新的虛擬製作形式將曼達洛人帶入生活。在第一部分中，我們將與視覺效果主管Richard Bluff談談建立The Mandalorian的經驗與教訓。ILM與製作技術合作夥伴Fuse，Lux Machina，Profile Studios，NVIDIA和ARRI一起開發了一個新的即時環繞攝影棚。在本篇的第二部分中，我們將與Epic Games的團隊討論建立這樣一個攝影棚的一些經驗和所需的關鍵技術。

新的虛擬製作和工作流程使電影製作者可以使用即時遊戲引擎技術和LED面板獲得大量且複雜的畫面。這種方法可以使真實世界和虛擬影像在拍攝時得以結合顯示，從而極大的減少了對綠幕的需求，並生成了我們所看到的最接近"全息甲板(holodeck)"的技術。該過程像攝影機中的單聲道膠捲一樣工作，可以動態更新背景以同步攝影機在現實中的視角和視差。為此，LED需要與動態捕捉裝置結合使用，該捕捉裝置可以知道攝影機在哪里以及它如何移動。儘管這項技術為Disney+ 影集"The Mandalorian"製作了令人驚嘆的視覺效果，但ILM正在推出其新的完整的虛擬製作解決方案ILM StageCraft，將會提供給全球電影製片人、代理商和放映商使用。

《曼達洛人第1季》中有超過50％的畫面使用這種新的拍攝方法，完全無需出外景。取而代之的是，曼達洛人中的演員們在巨大的20英尺(6公尺)高，有75英尺(23公尺)直徑的表演空間，270度半圓形LED電視牆和天花板中進行演出。其中實際的場景與LED上的數位影像相結合。由ILM創建的數位3D環境可以在LED牆上播放，並在拍攝過程中進行即時編輯，從而可以透過NVIDIA GPU提供的系統以高畫質進行精確的追蹤和透視角校正。從攝影機的角度對環境進行照明和渲染，即時提供視差，並且來自LED的準確光影會照亮演員和攝影棚內的實際場景。

喬恩·法夫洛（Jon Favreau）和攝影師格雷格·弗雷澤（Greig Fraser）幫助開發了該系統。伴隨著令人印象深刻的導演名單，製作人員改變了工作流程，可以預先做出更多決策，然後能夠為攝影過程中的視覺效果做出具體的創意想法，並透過遊戲引擎提供最後的畫面。當無法使用拍攝背景時，ILM團隊將使用傳統的3D物件替換LED部分，但仍要避免許多綠幕問題，例如綠色溢光問題和角色上的照明問題。

與傳統的綠幕攝影棚相比，LED牆在演員的高反射服裝上提供了正確的高光和反射。如果以舊式的方式拍攝，這些是完全沒有的。

使攝影機合成和效果所需的技術和工作流程結合了Golem Creations，Fuse，Lux Machina，Profile Studios和ARRI等合作夥伴，以及ILM的StageCraft虛擬製作電影平台和虛幻引擎（UE4）。

(Greef Karga（Carl Weathers）和Mandalorian與導演Deborah Chow正在討論StageCraft Volume中的場景)

「我們在過去的項目中一直在嘗試使用這些技術，最終能夠以不同的觀點召集一個小組，使電影和遊戲領域的發展取得合作，並測試即時渲染的極限」Jon Favreau解釋說。「我們為所取得的成就感到自豪，並認為我們構建的系統是使曼達洛人現實化的最有效方式。」

ILM執行創意總監兼總監Rob Bredow表示：「與Jon Favreau在電影製作中使用虛擬實境和遊戲引擎技術相結合，最終使我們有機會執行這一願景」。 StageCraft源自ILM虛擬生產領域十多年的創新結晶。看到我們的虛擬與實體在攝影棚上即時的合作，並提供了我們夢寐以求的畫面，同時還提供了大部分照明，這確實是一個夢想成真。

視覺效果總監Richard Bluff評論說：「與Kim Libreri及其虛幻引擎設計團隊Golem Creations和ILM StageCraft的團隊合作，為電影製片人和我的設計總監在Mandalorian上開闢了新的製作途徑，使我們能夠在虛擬場景同時結合物理場景和道具，這確實是大大了改變了拍攝生態。」

教訓

使用這種新方法拍攝時，Richard Bluff和ILM記取了很多教訓。我們與他坐下來，以了解這種新的虛擬生產方法。

設置與測試

每個"位置"都有一個彩排。甚至在準備就緒並針對即時性能優化之前，ILM就會渲染出360度場景並將其放入LED牆中。在午間測試會議中，製作設計團隊也會帶來需要使用的實體作品。然後在該設置用於最終畫面和實際拍攝的當天進行更精確的照明調整。

實用設置：匹配真實和虛擬設定

在彩排期間，需要進行許多數位和實體物體調整。第一個場景搭建不僅允許遮擋，還允許實際的美術部門在需要時調整道具顏色，而調整顏色很複雜。由於實體的物件由LED照明，所以找到正確的顏色幾乎是大海撈針。如果船艦的一部分是真實的而部分是虛擬的，則調整虛擬顏色會影響將會影響真實船艦上的顏色。如果顏色不正確，比起重新調整數位場景的顏色，改變實體部分的照明，有時會更容易。僅僅調整虛擬場景也可能會"汙染"落在道具或演員身上的光。

攝影總監Greig Fraser在StageCraft中拍攝。（插圖）為場景拍攝的最後畫面。

3D顏色校正

UE4團隊在早期開發了一種新的色彩校正模式，其視為3D球形''電動窗''。在球形空間內，任何東西都可以調整。該系統適用於球體而不是圓形，因為它可以在UE4世界的整個三個維度中使用。該體積也可以被羽化(feathered)或軟化(softened)，以減輕或漸進或漸出所需空間的色彩效果。這種3D顏色校正不必是一個精確的球體，它可以由控制LED中的某個人從iPad進行遠端控制。舉例來說，如果需要使中層岩石的某個部分顏色更加飽和，操作員可以做需要的調整，或者將其他顏色移回的該部分上，並且可以對空間中任何對象的任何部分進行分類。

實體的設置：道具

在攝影棚中有許多實體的道具，有時這些物體也進入螢幕裡的虛擬世界，或者LED牆上也存在著類似的物品。除了能夠對物體進行顏色校正外，工作人員還必須將其2D概念解釋為''反彈光''物體。想像一下一條明亮的黃色桿線，每個桿線之間相距一定距離，一個設置在現實場景，其餘的在虛擬場景中延伸。

在Mos Eisley機棚的場景中，整個地板上都鋪滿了沙子，然後在虛擬的場景中繼續延伸，這給人的感覺是更大的機棚。布拉夫解釋說：「在實際的場景中，我們有這些黃色和紅色的罐子用於場景佈置。」「而且我們在LED牆上還具有相同的紅色和黃色罐子，這些碳罐應該比現實的沙子處高30英尺。當然，從攝影機的角度會以正確的角度看到它們，因此紅色和黃色的碳罐在畫面上顯得較小。但實際上，當您不透過攝影機的鏡頭看時，這些紅色和黃色的罐子實際上離屏幕上的沙子只有12英寸，因為LED正好緊靠沙地。」解釋說。「由於LED提供照明提供給實體物件，最終將會獲得紅色和黃色的光源，它會直接照亮前面的沙子。」在攝影機的真實情況下，碳罐距離沙子只有數碼之遙，但從真實設置來看，它們只有六到十二英寸的距離。 Bluff指出，LED燈組的優點是它是光源，而不是用在c型架上的Kinoflos和反光鏡，但這也是一個問題。在塔圖因（Tatooine）上的鏡頭突出了這個的問題，沙子是明亮的，並因為LED反射出顏色。但當在地板上以深色調拍攝時，例如在Nevarro的熔岩流中拍攝時，團隊就沒有遇到那麼明顯的問題。

場景延伸拍攝時。需注意較深的色調，以避免不必要的反射污染。

3D世界的照明

就像真實的場景被LED牆壁照亮一樣，ILM團隊也必須考慮到通過反射實際場景的物品來照亮3D世界的方式。實體的大型物件應始終使虛擬物件的各個部分有反射回來的光線。真正的黃色罐子會在其附近的虛擬物件上反射黃光，這必須由3D照明團隊解決。因此ILM需要始終與美術部門保持緊密的合作。這在場景Mos Eisley Cantina中的餐廳表現非常明顯。部分原因是它是《星際大戰》世界中的標誌性場景和有著複雜的內部道具。Bluff解釋說：「我們必須完全打造Cantina本身中出現的所有東西，包括吧臺本身，所有裝飾，飲料，分配器以及吧台中間的所有東西，因為它們都是難以處理的反光表面」「此外所有桌子、椅子、攤位和環境中的所有東西都被完全搭建好了，然後舊金山ILM的團隊開始有選擇的關閉虛擬攝影機中那些我們不需要看得到的元素，但仍然需要投射非直接的光影。」

動態範圍

用單眼相機獲得的HDR是任何VFX團隊日常工作的基礎。ILM 3D照明團隊從Mandalorian場景中獲取HDR是毫無意義的，因為該場景由3D團隊自身的環境進行照明。 ILM必須使用替代的HDR，而不能依賴任何現有的HDR。

實體攝影棚設置

許多佈景都是用升高的地平面和支柱建造的，以便隱藏LED牆底部的角點，否則面板將與地面相接。同樣的，將草或的岩石放置在地面上，以混合效果可以將接縫線隱藏起來。

外部照明和陰影

在拍攝室外景時，儘管LED裝置提供了出色的天幕，並且可以使用iPad進行控制，但LED的作用就像一個大型柔光箱，而不是點光源。即使演員擁有1800nits的高亮度，他們也不會獲得強烈的外部照明，而這些輪廓會通過平行光（來自太陽）產生外部銳利陰影。解決方式可以選擇性的提起LED面板，並添加其他傳統的聚光燈。

攝影機和色彩

ILM的Matthias Scharfenberg及其團隊測試了ROE Black Pearl BP2 LED的效能，並將其具有與LF相同的色彩敏感性和還原度。這意味著Mandalorian使用的是Alexa LF專用的攝影機。

聲音

由於彎曲的形狀、堅硬的表面和LED天花板，因此攝影棚中的聲音會非常響亮。站在空間中的某些點，人們可以輕鬆聽到幾米遠的對話。因此，所有設備必須安靜地運行，不會產生外部噪音或使攝影機晃動。

景深

為了減少摩爾紋，通常會拍出柔和的背景，但有時也會使畫面在LED牆之外。雖然透過選擇鏡頭和亮度可以解決這一點，但是去無法消除散焦。如果由於牆壁太近而使牆壁無法聚焦，虛擬圖像這時在概念上會離得很遠，因此在聚焦時，無法使圖像重新聚焦。布拉夫評論說：「沒有任何魔術可以解決這個焦點問題，它只是歸因於格雷格·弗雷澤（Greig Fraser）和巴里·巴茲·伊多因（Barry Baz Idoine）所選擇的鏡頭。」在這種情況下，唯一的選擇是在後期製作中使用的可對焦材料替換數位LED素材。

摩爾紋

喬恩·法夫洛（Jon Favreau）想要模仿原始的《星際大戰》電影，尤其是《新的希望》第四集。因此其意圖絕不是產生過於清晰的影像。布拉夫說：“「Favreau和Frazier希望畫面回到70年代那種"奶油般的外觀"」。這將始終有助於解決人們可能在LED屏幕上看到的任何摩爾紋問題。

動態捕捉

Profile Studios的紅外線（IR）攝影機捕捉系統可以追蹤場景中的攝影機和所有道具。它們圍繞了LED牆的頂部，並追蹤了安裝在攝影機上的IR標記。這些傳感器需要裸露在外，無法將它們隱藏在"天空"中，以便它們可以追蹤攝影機，因此必須在後期製作中將其刪除。

延遲時間

從Profile的系統收到攝影機位置訊號到虛幻引擎在LED牆上顯示新位置的時間，大約有8幀的延遲。如果信號還必須給Steadicam操作員，則此延遲可能會稍長一些。為此，當團隊渲染高畫質場景時，位於演員背後用於補丁的攝影機（從攝影機的角度顯示正確的視差），團隊實際上會渲染40％的超大補丁。這種額外的補丁可以在系統還沒反應過來時為攝影機操作員提供了平移或傾斜的空間。

真實背景與縮影

現場或後期視覺效果的目的是使世界看起來真實，因此，布拉夫從一開始就計劃盡可能在背景中使用真實場景。布拉夫回憶說：「我瀏覽了ILM的檔案，並從突尼西亞或拍攝過《星際大戰》的任何真實地點（例如格陵蘭島）中獲取了許多照片。」然後ILM建立了一個Mandalorian資料庫以供團隊使用。除此以外，該團隊還對北加州灣區安吉爾島上一棟廢棄且破舊的混凝土建築物的內部進行了完整的測量和虛擬重建。

ILM拍攝了數百張照片，並構建了詳細且紋理豐富的3D環境，並將其導出到UE4。「一旦我們將其放到LED上，我們就可以將攝影機移動回去，讓角色與攝影機一起行走並地在門口移動，我們還可以看到所有正確的光影變化，而這就是我們一直在尋找的答案」布拉夫說。在拍攝它們之後，這擴展到構建縮影和構建全景球。對我而言，那是當我開始與喬恩（Jon）進行對話時，我知道它具有照片般的真實感，這讓我忘記了它是使用遊戲引擎的事實……真實到甚至可以製作一個電影。

縮影的一個例子是漁村里的房子，它是用CG依照照片重建的。

渲染

儘管50％的畫面可以在虛擬引擎中完成，但仍然有很多鏡頭必須由更傳統的ILM管道完成。許多環境是在UE4中渲染的，但是ILM的傳統是在V-Ray中而不是在UE4中渲染的。因此它們必須在視覺複雜性，顏色，紋理和對焦方面都互相匹配。ILM的流程是在3DsMax或Maya中建模，然後在V-Ray中進行光線追蹤。

VR 場勘

由於必須提前準確地製作虛擬場景，這使得電影製作人可以使用VR攝影機場勘。喬恩·法夫洛（Jon Favreau）在《獅子王》中就廣泛地使用此功能。這還允許在安德魯·瓊斯（Andrew L. Jones）的監督下，透過虛擬藝術部門進行非常快速的場景修整、燈光測試和細部調整。

技術背景

● 組成曲面牆的LED面板使用了ROE Black Pearl BP2。它的最大亮度為1800nits，非常明亮。在峰值亮度下，假設攝影機使用標準的180度快門以24 fps拍攝，LED可以產生約168燭光的強度，相當於f / 8 3⁄4在800 ISO時的強度。這意味著亮度不是問題，並且通常在製作時會使LED的亮度大大降低，遠低於最大亮度。

● Mandalorian使用了Panavision的全幅Ultra Vista 1.65x變形鏡頭。變形壓縮允許利用LF的1.44：1縱橫比來創建2.37：1的縱橫比，最終輸出為僅略微裁剪的2.39：1（請參閱《美國電影攝影師》，2020年2月號）。

● 攝影棚是彎曲的，高6公尺。180度LED電視牆，包括1,326片獨立的LED面板。

● 整座LED牆為270度半圓形，並帶有LED天花板。為演員和道具提供了直徑約23公尺的表演空間。

● 攝影棚的開口是拍攝所必需的，因此場景有兩個由132個LED面板組成的5.4m x 6m懸掛平板，可以放到適當的位置以完成360度封閉場景。

● 面板使用線性色彩空間以盡可能保持中性。

● LED面板的像素間距為2.84mm。這一點很重要，因為距離會影響拍攝LED背景時可能發生的摩爾紋。Panavision Ultra Vistas鏡頭的2.3光圈類似於Super 35中的0.8級光圈。這會產生非常淺的景深，從而使LED牆經常對不到焦。而製作中通常使用更長的鏡頭，通常是50mm，65mm，75mm，100mm，135mm，150mm或180mm的Ultra Vista鏡頭，範圍從T2到T2.8，並且DOP在T2.5-T3.5左右曝光。

● 起初有一個名為"Brain Bar"的單位，它是由ILM、Unreal和Profile組成的一系列工作站和美術指導，負責控制場景和動態追蹤。