2020年11月6日已讀 6 分鐘

製作人和導演的XR

已更新：2021年11月29日

如何在正常情況下使用延展實境(eXtend Reality)

執行摘要

XR（有時稱為“擴展實境” (eXtended Reality) 或“虛擬製作” (Virtual Production)）使用LED將表演者和道具放置在流暢的三維環境中，而無需昂貴的後期製作特效。

目前，XR在現場、電影和電視製作中都''炙手可熱''。尤其是在爆發新冠肺炎後，似乎每個人和其寵物都想製作和執導XR秀。但是XR要求獨立的舞台部門（燈光，攝影機和LED）之間的配合達到一個新的水平，如果不了解的話，這可能會嚴重影響到最後出來的成品。

如果你是製作人或導演，想按時，按預算進行XR製作，並且沒有壓力，那麼這篇文章適合你。文章會說明了XR是什麼，為什麼它現在很熱門，和它是如何工作的（從科學的角度來說很容易），以及它對您的生產過程以及對組織團隊的意義。

哦，最重要的是，文章很短。

綠幕的麻煩在於演員看不到他們在和甚麼對戲；演員們會被綠幕染成淡綠色，必須在後期修正(編按：其實藍幕是比較適合非藍眼珠人種)。而且作為導演的你要等到很久以後才能看到最後的鏡頭，因此創作過程非常艱辛。

接下來的發展是''Green Screen Replacement''（GSR），它透過將背景影片投影到表演者和道具後面的幕上解決這些問題。這具有三個主要優點：首先，表演者可以看到周圍的環境，從而使他們更舒適，並且獲得更自然的表演；其次，表演者和道具（尤其是漫射或反射表面）被背景自然照明；第三，身為導演，你可以立即在攝影機中看到最後的畫面，而不必等待緩慢而昂貴的後期製作。

GSR的第一個大型應用是在電影Oblivion上，湯姆·克魯斯（Tom Cruise）漂浮座艙周圍的雲景被投射到場景周圍的幕上，並很好地反射了所有玻璃和鍍鉻材質：

GSR非常適合於距離較遠或柔焦的背景板，例如雲景或風景。但是由於背景是“靜態”的，因此當相機移動或旋轉時，我們無法更改其視角。因此舉例來說，如果我們在場景中有一個更小，更近的物體（例如，另一架飛機降落了），那麼移動相機會破壞這種錯覺，而我們會意識到它只是一個平面的形狀。

這就是XR可以解決的問題。

對於XR，我們創建背景場景的三維模型，然後從要拍攝的相機的角度連續重繪。因此，我們可以自由移動相機並''環顧四''，而這在GSR中是無法實現的。

這意味著XR可以完全地模擬各種各樣的場景，如下例所示：

XR肯定有一個''時刻''，與所有熬夜取得的成功一樣，它已經發展很多年了。

製作公司一直希望避免在戶外拍攝或製作昂貴而復雜的佈景，而XR可以讓你更頻繁地進行拍攝。特別是它使你可以構建一個小型舞台，並使其看起來像構建了一個大型舞台（稱為虛擬擴展的XR效果），這在當前冠狀肺炎肆虐中的環境特別有用。

但是直到最近，XR所依賴的所有各種技術（高效能電腦，遊戲引擎，攝影機追蹤器等......）才被廣泛使用。正是這種可及性，再加上為了對抗新冠疫情，從而驅動了當前對XR這種技術的關注。

尚不清楚XR是否是一時的流行，在所有此類技術中通常會有炒作和過度使用，然後行業會

確定下來並以更審慎的方式將其建立為標準做法。出於以下討論的目的，我將假設XR會出現一段時間，並且廣泛使用。

XR如何運作?

就像攝影機欺騙觀眾的悠久歷史中的一樣，XR也依靠技術。

在XR中，我們使用安裝在每個攝影機上的追蹤設備（常見的選項是MoSys，NCAM或Stype製造的系統）來確定攝影機的位置和指向的位置（位置、角度和視野）。然後，我們使用遊戲引擎（常見選項為Notch、Unreal和Unity）從該角度繪製背景，然後將生成的圖像放到舞台的LED上。如果一切正常，我們會感覺到表演者和道具實際上是在虛擬場景中的錯覺。

為了使這項工作即時進行，我們需要每幀重複執行此過程，並且由於我們通常以每秒24至60幀的速度工作，因此我們需要功能強大的電腦來做到這一點。這基本上就是全部。

聽起來應該很容易吧？

為什麼XR困難?

這個答案分為兩部份。

第一部份是，XR是一項複雜的新技術，而復雜的新技術可能會......很有挑戰性。

藝術家必須在電腦上3D建模，而不是繪畫或拍攝背景。當然，即使使用後期製作的VFX，他們還是必須這樣做。但是對於XR，它們必須足夠簡單，才能在遊戲引擎中即時運算，然而這仍然是一種巫術。做得不好，你最終得到的背景看起來像是老式的電腦遊戲。如果你做的不好，那麼很難做使觀眾誤以為正在觀看''真實''場景。

要點亮背景，我們不能使用真實的燈光，而是必須在遊戲引擎內部創建虛擬燈光，然後使用它。我們還需要使用與背景照明互相匹配的物理光來照亮表演者，因為必須將將真實物體和虛擬物體的影子相互合理化。因此，我們需要以某種方式將虛擬燈光''連接''到真實的燈光，並能夠從虛擬場景中驅動真實的燈光等.......。

足以說，要創造令人讚嘆的XR場景，需要解決許多有趣且複雜的問題。無論如何，這對工程師來說很有趣，應該吧?

XR工具發展迅速，從業人員也正在學習，而該行業正在''即時''開發該領域。在實際製作的情況下，加上實際的預算和截止日期和後果，這會使XR產業面臨更高的風險（儘管一直在不斷改善）。硬體和軟體故障以及培訓不足，可能會使技術產生脫軌，並導致製作更加費時和人員的壓力。

幸運的是有一種應對策略，就是''不要以為一切都會正常''。舉而代之的是在使用之前花時間來測試系統和工作流程，並且不要依賴於未經測試的事物；並且如果你不能進行詳盡的測試（通常是這種情況），請在預算和進度表中建立明智的備份計劃（提示：請聽取你信任的技術人員）。縱使這會使總成本增加很多，但請將其視為未來的投資。如果這對你來說是一個問題，你可以僱用現在就具有XR專業知識的人員。

第二個答案，也是不太明顯的部分是，XR在現場需要不同類型的團隊協作。

XR團隊

在還沒使用XR之前，三個主要的部門（攝影、燈光和LED）實際上並不需要進行太多互動，也因為他們很喜歡這種方式。每個部門都留在自己的流程中，主要與主管進行溝通，發展自己的自給自足的工作文化，並相互發展出暱稱。儘管不是特別友好，但是此系統相對簡單，並且可以正常工作。

但關於XR的不可避免的事實是，我們需要使用以前不需要的方式連接和同步攝影機、燈光和LED。在這種情況下，舊的方法是行不通的。主管的每個命令都要求所有三個部門共同努力才能實現。而且，當出現技術問題時，他們有可能演變成跨部門的責備遊戲，演變成不能真正解決問題。

因此至關重要的是，在製作之前和製作過程中，將以前獨立作業的部門整合在一起，並讓他們進行團隊溝通和計劃。這樣所有部門都可以在製作開天窗以前發現和解決技術問題。

XR 檢查清單

在計劃一個XR產品時，這裡有一份清單供您參考。由於大多數人不是製片人或導演，因此我將其簡短化：

● 你的部門主管（DOP，照明，LED，內容製作）是否都知道他們正在從事XR項目？

● 你的部門主管接受過有關XR工作流程的培訓嗎？

● 你希望在拍攝時看到明確的XR清單嗎？（例如，多攝影機的切換，特定引擎或內容的使用，舞台的物理尺寸等......）

● 你的部門負責人們是否會討論和計劃他們將如何處理準備和執行製作？

● 你是否安排了測試來檢查拍攝過程中所需要的所有功能？

● 您的創意團隊是否了解他們需要做出什麼樣的妥協才能使畫面即時運行？

● 如果特定功能失效，你的部門是否有解決方法或備份計劃？

概要

XR並不是真的很困難，它只是新事物和要求創作者思考和工作與以往不同。你付出的努力就是獲得一種全新的內容創作方法，只是這種方法尚未被開發出來。XR為創新和尋找新的創作語言提供了巨大的機會，現在主要缺少的是你的加入。