RedSpy 3.0
使用手冊
RedSpy 3.0 is an optical camera tracking system. The system is made out of a small, custom made infrared camera that is combined with gyro and acceleration sensors. This camera and sensors determine their position in space by recognizing specific markers in a nearby environment. It attaches to an existing camera, detects the necessary positional data (pan, tilt, roll, zoom, focus), processes it, and sends this tracking data to a render engine. This combination allows you to put virtual graphics into a real life set and achieve the effect of augmented or virtual reality.
As was mentioned, the ring of LEDs on the RS camera emits IR light and when this light hits the markers, it is reflected in the same direction it came from (towards the camera). This characteristic is called retro-reflectivity.
We can pick some color that fits best with the color of the ceiling (or floor if needed). The material is retro- reflective and so it won't disturb other cameras if they don't have direct light pointing from the camera to the markers because the markers only reflect the light in the direction from where the light came from.
Marker size and distance
We use square markers.
Size of markers = 1/400 of the max. distance
Average distance between markers = (Avg. distance from RS cam to marker grid ) x 0.145
If your ceiling, truss or any other surface you use is comprised of differing sections in height, you can use different marker sizes in the same map. One marker size per different tier of the grid on that part of the ceiling. If you use the RS on a jib, or anything with variable height,it is best to take the middle distance from the markers to the camera for the calculation. For example, if the RS camera on the jib is 7 meters away from the markers in its lowest position, and 3 meters at its highest position, the distance for the calculation should be 5 meters.
Markers should always be oriented straight down, so when putting them on a round surface, you should keep this in mind, and not stick them around the surface.
Detailed example:
Min distance of RedSpy to the grid 1m Max distance of RedSpy to the grid 3m Avg. distance of RedSpy to the grid 2m
Avg.distance between markers= Avg. dist to RS cam x 0.145
= 2m x 0.145= 0.29m
In practice, we would use random 25-35cm, or even 20-40cm, spacing for this.
Size of markers = max distance / 400
= 3 m / 400
= 0.75cm
This is a standard size. The range goes from 0.5cm2-7.5cm2, and we round up or down depending on the particular conditions.
Density of markers:
Normally we say that the minimum number of visible stickers in the RS cam FOV for it to have good tracking is around 18. In certain conditions good results have been seen using moving graphics with only 4-5 stickers. To be safe we stick with 18 as minimum for optimal tracking and that's how we calculate the density on the ceiling(grid).
Usually the customer defines the minimum distance and then we provide the required density of the markers. Then you can go as far as the minimum distance times 3.3 to get the maximum distance. So, if your minimum distance from the grid is 1 meter, maximum is 3. meters. Similarly, if your minimum distance from the ceiling is 2 meters, then maximum is 6.6 meters.
How are the markers used for tracking:
During operation, the system will continuously monitor every individual marker, comparing its position in the previous frame, with the position in the current frame. Using this pixel distance between the marker position in the current and previous frames, the system will calculate the camera movement in 3D space.
Mounting
There are multiple possibilities for mounting the necessary RS components. The RS camera always has to be mounted on the camera body (or base plate if the SC is attached it rigidly), using one of the mounts provided with RS kit. Ideally, RS camera should be pointing directly towards the marker grid, whether it is on the floor or the ceiling. The way you mount the camera determines angle offsets you will be setting soon. Angular offsets between RS camera CCD and studio camera CCD should be as close to 90° or 0° (180°) as possible, to simplify the fine-tuning process.
Mounting - for Mapping
While mapping it is preferable to have the RS camera as far away from the markers as possible. Thus we usually map with the RS camera in hand or fixed to some sort of dolly, and only mount to the Video cam after the mapping. If the markers are on the floor mounting on a crane, lift, pole or something similar may be useful for maximizing distance to optimize mapping accuracy (e.g. reduce curvature).
Cable connections
Power supply for the RS main unit should be connected with its two chords and plugged into PWR plug on the RS main unit.
Power supply characteristics:
INPUT 100-240 V, 50-60 Hz 4A OUTPUT NOMINAL VALUE 15 V, 15 A, 225 W OUTPUT FOR RS 15.0V, 3A (mean) / 6A (max)
Touch screen HDMI cable should be plugged into the HDMI socket on the touch screen, and its other side into HDMI and USB ports on the RS main unit. USB cable is used for touch screen functionality. Make sure to connect the touch screen power supply as well. (see page 11)
The diagram below shows how the RS tracking system connects to the rest of the AR/VR hardware, including genlock requirements.
How to collect zoom and focus data from the lens
If you are using a lens with internal virtual encoders (20-pin matching those as described on the following page), you have to connect the RS camera to the lens. Use one of the cables labeled LENS, depending on the lens manufacturer (Fujinon or Canon), and plug it into the LENS plug. Make sure virtual encoders on the lens are enabled. If, for any reason,you want to use external encoders, pick the right gears and put them on RS external zoom/focus encoders. Mount the encoders on the lens using the mount provided as shown on the following page.
打開 RS。當它啟動時，按下螢幕右上角的綠色按鈕。 您現在應該在螢幕上看到 RS 攝影機的輸出，如下圖 1 所示。在左上角，您可以看到當前狀態，它應該狀態正在初始化（或數字更改）。還有兩個圖； Mapping和追蹤。螢幕頂部的 2 個數字都應為 0。如果其中任何一個不為 0，則可能存在同步鎖定問題。如果在操作過程中斷開了同步鎖定，那數字變化是正常的，只要數字不連續變化。
按下綠色播放標誌以啟動標記識別。現在狀態應該是mapping狀態（圖 2）。
使 RS 攝影機盡可能與地面保持水平，並沿固定方向緩慢移動。
此時，如果設備中已經有先前學習並存儲的地圖，RedSpy 將找到它
並將狀態更改為本地化（圖 4）。這意味著RS處於活動狀態，基於已知位置的標記，並且 RS 正在發送數據。此時確保右側沒有“No genlock”訊息。如果有（圖 4），請檢查您的同步訊號。
如果系統上沒有先前學期並儲存的地圖，則無法進行追蹤，因此狀態將變為擴展中（圖 3），即意味著您可以向任何方向移動以準確測量標記位置以製作地圖，這是追蹤的先決條件。
從攝影棚的中間開始mapping，並儘可能緩慢而穩定地繞圈移動。
確保在mapping時，陀螺影響參數設定（參見手冊中的第四個選單說明）設置為最小。當螢幕上的標記變為淺藍色時，它會被識別並記住。如果已存儲地圖，並且您想製作新地圖，請按紅色停止標誌（正方形），然後按綠色圓形箭頭標誌（重新開始）。 這將使您進入mapping狀態。為了獲得最準確的測量（最佳校正結果），建議緩慢移動，並覆蓋不同的位置和角度。 一旦地圖的一部分變為淺藍色，這表明測量的準確性已經足夠，請嘗試始終將其中一些學習標記保持在視野內。這樣你就可以逐漸覆蓋整個地圖。
如果您對地圖感到滿意，請點擊保存圖標上方的核選框。按下它後，狀態應更改為本地。然後按保存圖標（disk）保存當前地圖。請注意，此過程將刪除以前保存的地圖，因為在任何給定時間，每個配置文件都只能在 RS 主機上當前啟動一張地圖。如果您出於任何原因希望保存當前設置，您可以隨時保存配置文件。用戶可以創建多個配置文件，每個配置文件都有不同的安裝選項、攝影棚攝影機或標記網格。這樣就可以在具有多個標記網格的多個工作室中使用單個 RS 系統。如果您想使用新標記更新現有地圖，請按下複選框（以刪除複選標記），這將使您再次進入擴展模式。遵循與以前相同的規則，允許通過從先前學習的標記向新標記逐漸移動來學習地圖的新部分。完成後，再次按下複選框並保存地圖。
完成整個mapping後，您可以利用追蹤圖更好地查看是否存在“有問題的”標記（不夠明顯，或未正確mapping）。您可以通過注意顏色來做到這一點（藍色很好，紅色則是壞的）和每個標記上的“尾巴”。尾巴越大，該標記的追蹤越差。一個追蹤不好的標記，或僅在某些位置追蹤不好的標記，不應影響整體性能，一旦完成mapping，請記住將陀螺儀影響設置得更高，因為這將對追蹤品質產生影響。
轉到設置頁面的第三個選單，如果某些物理標記已被刪除，或者已識別出不存在的標記（例如棚內具有大量紅外光譜的燈），您可以使用此工具修改地圖。通過這種方式，您可以調整地圖，而無需製作全新的地圖。 完成所有這些後，請確保再次保存地圖
初始校正
製作新地圖時，需要執行幾個步驟，而在使用同一張地圖時不必再次執行這些步驟。 為此請按設置圖標，該圖標將打開一個包含 8 個選項的選單。 您可以通過按螢幕上部的圖標來瀏覽選項。
第一個選單 - IP 設置
IP 是分配給網絡中 RS 主機的地址。 目標 IP 是算圖引擎的地址，這是 RS 將發送數據的地址。 如果要將數據分配到多個地址（並且使用預設子網路遮罩），請將目標 IP 的最後 3 位設置為 255。您還需要為引擎輸入相應的通訊埠（預設為 6301）。 輸入這些值後，按複選標記。
第二個選單 - 偏移量
第二個選項包含 RS 偏移。平移、傾斜和滾動是 RS 相對於 SC 鏡頭的角度偏移。設置這些的最簡單方法是通過導引。您只需選擇天花板或地板（取決於標記的位置）以及 RS 攝影機線的朝向。這樣將生成 90 度角。稍後您可以對它們進行微調以獲得更好的結果。 X、Y 和 Z 是 RS 攝影機 CCD 相對於攝影棚攝影機的偏移。
X、Y 和 Z 是 RS CCD 相對於攝影棚攝影機CCD的偏移。
Y 是 SC 和 RS CCD之間的高度差（RS CCD 位於 RS 頂部下方 1.5 厘米）。
Z 是 RS 中心與CCD之間的後向差。
如果 RS 在上方，則 Y 為負，如果 RS 在 CCD 前面，則 z 為正。
X 是 RS 和CCD之間的左右差異。
如果 RS 安裝在相機機身中間（CCD 正上方），該值應為 0，如果安裝在左側（從相機後面看），則該值應為負。
上面提到的方向應該從SC的角度來感知，所以前方是SC在的地方
微調
在此，我們正在細化 RS 和 SC 之間的對齊。這是在我們使用引導作為起點來生成 TPR 角度偏移之後，基於 RS 在第 5 節中的安裝方式（它必須保持剛性固定，否則需要重複此過程）。
我們必須小心地測量兩個相機之間的平移偏移，並輸入它們，因為它們對應於 X、Y 和 Z 值。 稍後我們將使用圖形輸出來衡量角度偏移的準確性，這意味著我們必須成功隔離 3 種類型的旋轉運動才能獲得正確的最終值（這將普遍適用：獨立攝影棚中的位置） .
第三個選單 - 校正
對齊地板
對齊地板選項可讓您將實際地板與標記網格對齊。 有兩種方法可以做到這一點。
對齊地板-定位地板基準
如果您選擇此選項，這是推薦的，您需要做的是將RS移動到攝影棚/地圖的不同位置。最簡單、最精確的方法是卸下 RS 並將其放在地板上。鑑於地板已平整，這將為您提供零傾斜的最佳近似值。系統會詢問每個新點的距離和高度，但如果 RS 保持在相同的高度（如果您始終將其放在地板上），這些值可以是任何值（甚至為 0）。 做盡可能多的點（至少 4 個），最好覆蓋整個有定位點的位置。
對齊地板 - 選轉定位地板基準
請將 SC 鏡頭與地板對齊並再次按下按鈕。現在稍微改變一下平移角度，然後做同樣的事情。重複此多次。你必須做至少 4 個角度，但最好做 7 個或更多，如果可能的話，覆蓋 180 度。為了使攝影機與地板保持水平，您可以使用水平儀（參見附錄中如何檢查和校準水平儀）。
執行設置比例、設置零平移和零點後，檢查地板對齊是一個很好的做法。這樣做的方法是將 RS 安裝到三腳架或任何帶有小車/輪子的東西上。 然後將 RS 保持在相同的高度，在地圖上移動並檢查 RS 上的高度輸出，在第 5 個選單 - 輸出中檢查 Y 值。 如果高度保持不變或變化不大，則地板對齊良好。如果變化很大，請在此選項中重做整個設置。
設置比例 - 移動 RS 相機
設置比例用於為系統提供絕對的距離和高度感。按下按鈕，將相機移動一定距離，測量距離並輸入。攝影機的平移和傾斜在起點和終點應保持不
變。您可以像以前一樣在未安裝相機的情況下執行此操作，因為這樣最容易移動它。
設置比例 - 使用兩個標記
在標記的可見圖中，我們任意選擇兩個標記。現在我們必須在已安裝的標記中物理找到這兩個標記，並測量從一個中心到另一個中心的距離。測量值應輸入所選標記下方的框中。通過重複這些步驟來檢查值的一致性，以確保沒有重大偏差。如果標記在地板上，這個新選項更適合設置比例，但如果標記在天花板上，它也可以使用。
設置 pan 的零點 - 瞄準主攝影機
用於設置虛擬 z 軸的方向。同樣有兩種選擇。最常見的一種是通過瞄準主攝影機來設置它。只需按下按鈕，同時讓攝影機朝您想要的 z 軸方向看。
設置 pan 零點 - 兩點校正
第二個選項是將攝影機放在兩個不同的點上，然後Z軸將是連接它們的虛線。
設置零點
設置零點 - 將虛擬系統的零點設置在 RS 的 CCD 位置。如果角度和位置偏移輸入正確，則虛擬系統的零點直接設置在攝影棚攝影機的 CCD 。按下按鈕後，您必須輸入從地板到 CCD 的高度（SC 鏡頭的中心是 CCD 的一個很好的參考高度）。
微調
在這裡，我們正在對齊現實世界和虛擬世界。例如由於我們在執行“設置零點”時錯誤地測量到地板的距離，因此可能存在恆定的 +1cm 高度偏移（輸出選項卡中的 Y 值），我們可以通過從 Y 中減去 1cm 來更正它。在這個選單中，如果 XZ 平面中存在未對準，我們也可以在此螢幕上使用相應的平移偏移對其進行校正。
第四個選單 – 追蹤增強（滑塊）
此選項中的某些複選框/滑塊僅供 Stype 工程師在初始校準期間操作。計劃供用戶使用的內容如下所述。
平移平滑
減少位置追蹤中的問題。過度的平滑會產生類似於追蹤數據延遲的效果。此外在攝影機快速移動時使用過度平滑更容易導致追蹤數據丟失。
陀螺儀影響
增加此會使追蹤更加依賴陀螺儀。它使追蹤對視覺遮擋和反射更加穩健。但是如果將其增加太多，可能會導致原有的陀螺儀漂移在追蹤過程中發揮作用，從而為追蹤數據添加問題。Mapping時將此滑塊保持在最低限度，並在日常使用中適度增加。
LED亮度
控制 RedSpy 上 LED 發出的光量。標記點離 RS 越遠，它應該設置得越高。
延遲
延遲從 RedSpy 發送到引擎的追蹤數據。
檢測閾值
控制標記檢測的靈敏度。降低閾值可以檢測到不可見的標記。如果閾值太低，則可能會導致各種不需要的視覺噪音也被檢測為標記。在極端情況下，這可能會導致系統計算過載並導致整體 FPS 下降。
翻轉 U/D
向上/向下翻螢幕幕上的圖片。 勾選後，TurnOff /TurnOn 後可見效果
Flip L/R 翻轉左/右
左右翻轉螢幕上的圖片。 勾選後，TurnOff / TurnOn.Z 後可見效果
第五個選單 - 輸出
第五個選項允許進行一些額外的調整，並顯示正在發送到引擎的虛擬數據。協議輸出讓您可以在 Freed 和其中一種 Stype 協議（HF 或 A5）之間進行選擇。這取決於您擁有的引擎和它使用的協議。大多數引擎都實現了 Stype HF 協議，這是首選。
它可以使用以下功能： 鏡頭校準，包括中心偏移調整和景深。
變焦源和聚焦源開關讓您可以選擇使用內部（鏡頭內的虛擬編碼器）或 Stype 提供的外部編碼器。這是一個偏好問題，不應顯著影響系統的性能。如果可能，使用內部選項通常是一個更簡單的選擇。
您還應該檢查縮放和焦點的值。您可以在此選項或引擎上執行此操作。當縮放為全寬時，其值應為 0（或接近它）。如果沒有，您必須更改縮放極性。同樣，檢查焦點值並在需要時翻轉焦點極性開關。通常在使用內部編碼器時，應將這些設置為正常。
第六個選單- 配置文件
一旦您對當前校準和系統操作感到滿意，此選項允許您保存配置文件。配置文件保存當前地圖和所有其他上述設置。
此外，還有一個啟動 Team Viewer 會話的選項。
第七個選單
請參考第11. Updates to the RS 3.0
第八個選單
診斷 RS 硬體
You can expect to see updates for your new RS fairly regularly. To check for availability and perform an update an internet connection is required.
1. Connect RS to the internet via LAN or USB tethering to your smartphone.
2. Check if connected to the internet: go to the settings window in the app, then info tab (7th), which has "no internet" notification visible until connected.
1. Once you've connected via cable to your smartphone and configured the options on your device (or established a LAN connection to the internet) you will need to hit refresh in the same tab and notice that the no internet notification will have disappeared and if there is an update available it will be mentioned in the right-most column.
4. press update app
6.wait for the RS app to restart, start it and check the status in the info tab once more.
7. Congrats! You are finished.
12.1 Virtual Troubleshooting
Q: Graphics drifting.
A:A: Check if lens extender is turned on. It needs to be turned off
A: Compare the real camera position and rotation with values shown in the 5th tab of the settings page. If there are significant differences then verify/redo the steps in the Calibration section.
A:Test and adjust the center shift.
A: Check if the RS offsets (2nd tab) and lens file are good by keeping the position of the camera still and just panning the camera head (then do the same for tilt). If the graphics are drifting then it could be that one or both of these parameters will need to be adjusted/redone.
A:Check if the virtual objects are of the correct size (in cm or m)
A: Ideally the RS is connected directly to the render engine. A reliable connection between the RS and CGI computer or tracking server is required. If you notice unexplained periods of bad data, you can perform network troubleshooting using a packet analyzer such as Wireshark (which is a free and open program available for download). We also offer a simpler app that will display the data sent by RS (see Stype Data Recorder in section 12.4).
12.2 Digital Level
A.Verify calibration of the digital leveler – measure the inclination of one surface and then repeat the measurement in the same place but with the leveler rotated 180 deg. A difference of 0.10 degrees in total, is acceptable. Check this value from time to time and perform calibration if the unit is dropped.
B.Calibration - Press and hold the "SET" or "ANGLE" key to enter Menu mode. Select "Calibration" mode with the up/down arrow, and press "SET". Follow the onscreen instructions. Once the LCD goes back to Menu mode, select "BACK" to resume normal operation. You can find detailed instructions on page 22.
Q:How do I know if the digital leveler is in absolute measurement mode?
A:The " " icon MUST NOT be visible. The triangle indicates relative mode which will give in correct measurements. Exit this mode by pressing the ZERO key.
Q: Please provide detailed instructions on how to calibrate the digital leveler.
A:Follow these steps:
1. Press and hold the “SET” key to enter Menu mode. Select “Calibration” mode, press “SET”.
2. “CALIBRATE DUAL AXIS PRESS SET” - put unit on a flat surface, press“SET”. Keep still while beeping.
3. Rotate the unit 180 degrees in the same place. Press Set, and keep still.
4. LCD displays“CALIBRATE HORIZONTAL PRESS SET”. Place the unit horizontal (upright), press “SET”, keep still and wait until the beep sound stops.
5. Rotate the unit 180 degrees in the same place. Press “SET”, keep still and wait for the beeping to end.
6. “CALIBRATE VERTICAL PRESS SET”, put unit on its side (power button will be in the top left corner).
7. Press"SET”. Keep still and wait for the beeping to stop.
8. Rotate the unit 180 degrees in the same place. Press “SET”, keep still and wait for the beeping to end.
9. LCD will go back to the selection menu. Select “Back” to go back to normal operation.
12.3 Centershift, Lens Calibration, DOF explained
We alluded to this app earlier. It allows for monitoring of all tracking data from the RS, and also records this data in XML and FBX format. The free version allows recording for 10seconds.
The data recorder can monitor for dropped packets and genlock signal FPS. LTC will also appear if connected to the RS main unit. In the Recorder, you select the same port as was set in the RS IP settings.
One solution is to connect the RS to any switch which can process 100Mb per second, to set the destination IP address to broadcast on the RS, and to configure the engine IP and that of any other requiredPCs to be on the same subnet. There is no particular setup on the switch side. Here is an example:
RS
Source IP: 10.10.10.10
Destination IP (engine): 10.10.10.12 Port: 6301
RS Broadcast
Source IP: 10.10.10.10
Destination: 10.10.10.255
Port: 6301
Engine:
IP 10.10.10.12,
will receive tracking data on port 6301
Data Recorder:
Any other PC on the same sub-network (10.10.10.*) will receive data on port 6301; e.g. a PC with IP 10.10.10.15, will receive data in the app on port 6301 also.
堅達公司為 Stype 授權代理商，歡迎電洽 (02) 7720-9899 洽詢產品詳情。
Comments