top of page

stYpe 虛擬製作先進技術展示 - IBC Amsterdam 2024

已更新:2天前


stYpe 虛擬製作先進技術展示

stYpe在IBC 2024的展示現場,介紹了一些新產品、經典產品的一些改進,及最新的虛擬製作技術,請觀看下面的中文字幕片:




stYpe 在展場談論了下列的主題:





全世界最好的攝影機追蹤系統 – RedSpy


全世界最好的攝影機追蹤系統 – RedSpy


RedSpy是全世界最受歡迎,最值得信賴的攝影機追蹤系統。它用於現場廣播、電影及其他類型的虛擬製作。RedSpy的追蹤既精準、又可靠。透過一個有虛擬圓錐的場景,進行很極端的追蹤測試:將虛擬的圓錐放置在地板上真實的十字上,當攝影機移動時,圓錐牢牢的固定在十字上,這是在RedSpy的幫助下得以做到,因為它會追蹤攝影機的位置。如果攝影機追蹤關閉,當攝影機繼續移動時,電腦圖形將維持在螢幕上相同的位置,而顯得漂浮不定,因為電腦沒有任何關於圖形該如何移動的資訊,因此不知道要將圓錐放在地上的十字上。透過攝影機追蹤,虛擬的圓錐就可以完美、逼真的固定在我們想要的位置(十字上)。


透過攝影機追蹤,虛擬的圓錐完美、逼真的固定在想要的位置



結合了MoCap系統與攝影機追蹤 - Follower


當主持人移動手上的平板時,美國地圖跟著一起移動

StYpe的虛擬製作可從虛擬的運鏡,轉換成具追蹤的攝影機運鏡,當然也可以在場景中加入一些虛擬物件。透過結合幾種不同的技術:攝影機追蹤、人物追蹤及物件追蹤。當主持人移動手上的平板時,美國地圖跟著一起移動;按下按鍵,地圖會轉換到地板上等。有了這類功能的組合,就可自由的以非常獨特及有創意的方式講述故事。主持人的位置被追蹤、平板電腦被追蹤,並由算圖引擎將它們結合在一起,產生螢幕上的最終合成畫面。


與虛擬物件互動,可將虛擬製作提升至更高的層次


透過導入主持人與實際場景,及她周圍虛擬物件的互動,可將虛擬製作提升至更高的層次。例如:同時追蹤筆及攝影機,讓主持人在空中作畫等,可創造出非常迷人的視覺效果。這些互動都是透過stYpe另一旗艦產品:Follower物件追蹤系統。此系統與RedSpy有些不同,因為它用的是由外而內的方式追蹤物件。透過多台Follower Witness攝影機拍攝著一個空間,而主持人手持小型無線追蹤點(Beacon)發射紅外線,這就是追蹤主持人位置的方法,用來空中作畫的筆裡面面,也有類似的追蹤點,在平板上同樣的也有好幾個。這些小小的LED閃爍獨特的二進位圖案,Witness攝影機可以看到這些圖案,因此可以追蹤不同的物件、人物及攝影機。也可用相同的系統 來追蹤攝影機,攝影機追蹤模組稱為Spyder,因為它很像蜘蛛。它有幾個追蹤點連接至攝影機上,透過Spyder上的追蹤點來追蹤攝影機。


透過 Followe 追蹤系統,可進行空中作畫
Follower 的 Witness 攝影機


Follower是一套完整的系統,可以追蹤任何你想要的東西:人物、物件、攝影機等。但有時你的要求並沒有那麼大,也許只是想追蹤表演者,在此情況下,可使用更經濟、更簡單的最新解決方案:AI Glue。它使用AI人工智慧來追蹤表,表演者在場景中走來走去時,可追蹤她腳底的聚光燈光束,而表演者的位置現在也正被追蹤。AI Glue只使用兩台攝影機,並使用真實影像,無需佩戴標記,也無需在口袋放追蹤點,可用非常簡單的方式,就可取得表演者的位置。


AI Glue 讓聚光燈追蹤表演著,無需配戴任何標記


能自動瞄準的半自動攝影機搖臂 – StypeKit


HumanCrane + 自動瞄準的半自動攝影機搖臂 – StypeKit

StypeKit是業界標準攝影機搖臂的附加元件,最常見的是安裝在Jimmy Jib搖臂上。而stYpe也有自己的搖臂:HumanCrane。StypeKit讓純手動的搖臂瞬間升級為半自動搖臂。此系統也可提供攝影機追蹤的資料。如果你需要在很大的音樂廳或會場追蹤攝影機,且使用RedSpy的標記也不實際,因為RedSpy需要逆向反射標記,那就可使用HumanCrane搖臂,它是機械式追蹤系統,且是一個完全獨立的系統,不需要任何外部的標記或Witness攝影機,來提供攝影機追蹤資料。但這並不是Stypekit唯一的功能,它還可以讓你更順暢、更漂亮的進行運鏡。當移動搖臂時,讓鏡頭牢牢的對準你想要的標的。通常操作搖臂時,在搖臂最後面、放置配重那裡,會有一個操作者控制搖臂,握住兩個握把:一個是攝影機的搖桿;另一個是控制變焦和焦距。對於搖臂的操作員而言,需多年的經驗才能拍出憑順、漂亮的運鏡效果,但永遠也不可能拍得像StypeKit這麼完美。這套系統既能提供超順暢的拍攝,也能提供AR圖形。




所有 AR、VR 及 XR 的 stYpe 算圖解決方案 – StypeLand


StypeLand 具有陰影、反射及折射等功能

StypeLand是原生的Vanilla虛擬引擎外掛程式,意味著,無需客製的Unreal版本就可使用它,可以下載stYpe的外掛程式,並將它新增至現有的專案就可立即開始使用。它提供了三種主要的工作流程,AR:在真實的場景前加上一些AR物件;VR:典型的綠幕場景,其中有一些虛擬環境及一些前景物件;XR:LED牆建的場景然後用場景延伸進行延伸。StypeLand AR代表使用真實攝影棚的應用,只是在其中加入了一些AR物件,例如:圓餅圖表之類的物件。它還具有陰影、反射及折射等功能,一張簡單的AR圖卡是折射的好範例,從虛擬物件施作於實體物件或人物的身上,它也會在實體場景中產生陰影。是一種非常酷的效果,stYpe在Coachella音樂節上使用此功能,在該節目中獲得非常酷炫的效果。在StypeLand AR之上,即時的GreenKiller讓你進入VR工作流,換句話說,就是進入虛擬攝影棚。GreenKiller是stYpe最先進的色度去背(Chroma Keyer),使用GreenKiller可非常容易的抽出陰影,並抽出細節,例如:頭髮的細節;穿過透明的物件進行去背等。


GreenKiller 是 stYpe 最先進的色度去背

GreenKiller是市面上你所能找到世界上最先進的 即時色度去背,經由與其他色度去背軟體比較,證明了這一點。它只是選一個顏色、然後為整個攝影棚去背

的典型色度去背不同。GreenKiller使用類似3D掃描器的東西,有環景的3D模型,用攝影棚的攝影機作為3D掃描器,掃描場景的哪個部分會出現哪種綠色,如此一來,就不用擔心場景的燈光是否均勻,就可以愛怎麼打燈、就怎麼打,系統會知道場景中的某些部分是否比較暗,但無所謂,系統知道在那個部分只是比較深的綠、它知道那不是陰影。只有當你透過攝影機獲得較暗的陰影時,系統會判斷那是陰影。甚至可改變燈光,即時的再次掃描場景,而所有事物皆仍舊維持在去背的狀態。雖然GreenKiller的去背能力非常強,還有一些其它新功能,例如:虛擬的反射系統。它可以在場景中虛擬物件的亮面上,反射出實體物件。


GreenKiller 使用類似 3D 掃描器的東西,有環景的 3D 模型

除此之外,另外還有stYpe稱之為Image Based Lighting(基於影像的燈光)的功能。當開啟Image Based Lighting功能時,StypeLand會從場景本身的顏色取樣,並透過DMX將資訊傳到實體燈光,以便產生與表演者身上顏色完全匹配的燈光,讓表演者看起來完全沉浸於環境中 ,如同他就真的身處於場景中。


Image Based Lighting(基於影像的燈光)

虛擬製作工作流程管理 – Stype CENTRAL



stYpe過去一年持續的努力研發軟、硬體解決方案,而StypeCentral是圖形製作工作流程的解決方案。利用現代的網路技術,只需透過網頁瀏覽器即可存取,可在整個機構 輕鬆進行設定及部署。它是端對端解決方案,可插拔的系統元件提供靈活且可擴充的架構,同時將維護的需求 降至最低。自從4月在NAB推出StypeCentral以來,又添加了許多新功能和工具。總而言之,不論是現場演出或預先錄製,StypeCentral提供了以播放清單為基礎、樣板驅動的圖形及流程控制的攝影棚內製作。StypeCentral真正的威力,來自於它支援業界標準MOS通訊協定,可讓你的圖形播出與現有的新聞工作流程無縫整合。StypeCentral可與你喜歡的新聞控制系統,例如:Octopus或Avid iNews連接及溝通。因此,基於樣板的圖形可輕鬆的創建、編輯及傳送,讓使用者、記者和編輯存取及使用其製作的圖形,就在熟悉的新聞編輯系統環境中。從最初的設計到播出,StypeCentral協助你管理資源,為工作流程提供簡單、但功能強大的工具。


StypeCentral 是圖形製作工作流程的解決方案


XR LED牆立體色彩校正 – XR ANGLE CALIBRATION

StypeLand還能做到什麼?就是所謂的StypeLand XR,StypeLand XR基本上用於虛擬製作用到LED牆的時候,其受歡迎的程度持續不斷上升,有幾個原因。首先,表演者可實際看到他們所處的場景,更重要的是,自然光以該有的方式直接照射在表演者身上,無需導入任何虛擬物件。但話說回來,必須克服幾個重大的挑戰,當然,StypeLand能克服這些挑戰。首先是當攝影機以不同角度觀看LED面板時所發生的色彩偏移(Color Shift),另外就是虛實與真實世界間的色彩偏移,需要在延遲及色彩上進行匹配。多攝影機工作流程似乎也是個大問題,有多台攝影機從不同角度拍攝出現在LED牆上的影像。當關閉場景延伸時,可清楚看到實景結束、虛擬開始的位置,完全揭露了一個漂亮大型攝影棚的錯覺。打開場景延伸時,就能擁有一個巨大的攝影棚。StypeLand能完美處理攝影棚的接縫問題,StypeLand XR的色彩校正功能,則解決了攝影機因拍攝角度不同而產生顏色上的差異。當虛擬加入至場景延伸時,必須讓色彩能夠匹配,色彩校正,攝影機可進行各種的運鏡。


右為場景延伸開啟、左為場景延伸關閉

關於多攝影機的工作流程,有兩種方式,第一個方式很簡單,可使用StypeLand XR主動切換,來回的切換拍攝中的攝影機,從一台切換至另外一台,並讓LED牆顯示攝影機所看到的畫面,這是最簡單的方式。如果想要多台攝影機同時看著LED牆怎麼辦?對此,需要實體LED牆的協助,需要支援稱為Sub-Framing的功能,而StypeLand XR有此功能。當眼睛看見實體LED牆時,會同時看到兩個影像,但如果攝影機的影像,在切換攝影機的時候,每台攝影機只能看到一個影像,有了Sub-Framing就可做到這一點。基本上,影像每秒會閃爍60次,而攝影機的設定正是要拍攝這部分,而其他攝影機也進行同樣的事,但它會偏移一格,它們只是透過快門,互相閃爍一格影像。有了這個功能,就可以隨時主動的從一台攝影機、同時切換至另一台攝影機。


Sub-Framing 讓每一台攝影機只能看到一個影像


令人振奮的新研發 – AI Glue

它增加了一個新功能 - 骨架追蹤系統(Skeleton Tracking System),透過骨架追蹤系統,可追蹤表演者的手勢,甚至將整個控制對應至他們的身體, 讓虛擬人物跟隨著表演者的動作一起舞動。


骨架追蹤系統(Skeleton Tracking System)讓虛擬人物跟隨著表演者的動作一起舞動





堅達公司為 stYpe 虛擬製作相關軟硬體產品獨家代理,擁有大型虛擬製作攝影棚,擁有業界最專業、最頂級、最完整的設備,且具有豐富的虛擬製作經驗,亦有 LED Wall 等相關專業產品,歡迎來電瞭解詳情,洽談虛擬製作合作事宜,TEL:02-7720-9899。



https://getop.tv/13z16a

26 次查看0 則留言

Comments


bottom of page