身體姿勢估算（Body Pose Estimation - BPE） - 這是最新的Pixotope 2.1版一項卓越的功能，但它是什麼呢？它是一個透過鏡頭追蹤表演者的系統（TTL），使用人工智慧（AI）生成一個3D骨骼架構，而其資料點則與螢幕中表演者的身體及四肢相對應。
我為什麼需要這項功能？
身體姿勢估算（BPE），無需添加額外硬體，即可讓虛擬製作（Virtual Production - VP）變得更容易和/或實現更多的創意。BPE讓真實與虛擬的物件可開始相互作用，讓事情變得更容易，因為它意味著在更複雜的虛擬環境中，表演者可四處移動，不再受限於必須待在舞台的特定位置。同時也意味著要產生如：陰影或如照片真實的倒影等虛擬物件，變得更加容易，不僅讓虛擬製作的成品看起來更好，也讓虛擬場景的設計更加靈活 - 例如：在下面的影片中，我們在虛擬測試場景中，添加了一個產生倒影的虛擬地板。
但它也能實現更多的創意 – 讓表演者和虛擬物件透過物理性質、觸發框、手勢、或點擊控制器，進行拾起和放置等邏輯性的相互作用。在下面的影片中，你可看到我們在虛擬測試場景中添加了一些植物，當奧伊斯坦（Øystein - 表演者）在空間中移動時，虛擬植物會如實體的植物一樣做出反應。
它是如何運作呢？
通常，表演者追蹤系統使用多台攝影機、或立體的（Stereoscopic）設備，來創建空間中表演者的3D模型。而身體姿勢估算（BPE）則不同，它是“透過鏡頭（Through The Lens）”，也就是說，它只需用你拍攝場景的攝影機來追蹤表演者，無需額外的硬體或動作捕捉（Motion Capture）等設備。這不僅降低了複雜性，且由於Pixotope能夠處理影片檔及資料流，這也意味著，如果你在“拍攝後”修改了虛擬場景或AR物件，你也可讓表演者與這些改變的物件進行互動。
為了估算身體的位置及姿勢，我們利用了NVIDIA Maxine Augmented Reality SDK，這是一個NVIDIA人工智慧驅動的框架（AI-Powered Framework），它提供了一組即時（Real-Time）的3D資料點（Data Point），對應於表演者的骨骼和身體部位，如下圖所示。
它有任何限制嗎？
跟任何新的技術一樣，有些限制可能會隨著時間的演進而有所變化。目前，身體姿勢估算（BPE）僅限於在視野中只有一個“人形”，如果該人形的身體只有一部分在視野中，人工智慧將會試圖推斷它所看不到的部分的位置。由於身體的位置是由影像得出，因此若變影像有大幅度的改變 - 例如：快速的移動或縮放等，可能對骨骼資料的準確性會產生影響。此功能確實需要相當大的GPU能力，因此僅適用於某些NVIDIA RTX GPU。某些應用中，在一個獨立的工作站上執行BPE功能，與進行虛擬環境合成的工作站相比，可能會更有優勢 - 你可在下列網站瞭解更多關於如何做到這一點：https://bit.ly/34DM75x。
有哪些其他替代方案嗎？
如前所述，這種方法是“透過鏡頭”，使用先進的人工智慧來生成三度空間內身體位置及身體姿勢的高度精確估算，這方面的替代方法，大多涉及額外的硬體設備。有些系統需讓表演者穿上一套衣服，讓系統能夠追蹤他們的運動，；有其他估計系統，使用不同的攝影機設置來追蹤表演者，這些系統包括立體攝影機（Stereoscopic Camera），雖然結構精簡，但實際上也僅限於單人追蹤，因為當一個人在另一個人的後面移動時，立體攝影機就無法估計身體的位置。在需要多人追蹤的情況下，像TrackMen的TalenTrack這樣的多攝影機設置可能更有意義，它使用3台低成本的攝影機，放置在量體周圍來映射整個空間，然後也使用人工智慧來生成空間中所有表演者的3D骨骼架構。在此情況下，對追蹤表演者的最大數量的限制在於GPU的效能。
我如何能測試？
身體姿勢估算是在12月中旬推出的Pixotope 2.1版本中引入，如果你是PIxotope的現有客戶，你可繼續在Pixotope幫助中心（Help Center）查詢如何設置它的詳細說明。我們還在Pixotope Cloud上準備了一個可下載的專案，讓你開始使用，其中包括一個表演者在綠幕環境中行走的測試片段。如果你還不是Pixotope的客戶，請聯絡Pixotope授權經銷商：堅達公司（GETOP）。
Comments