Meta元宇宙中專利系列介紹（五）：人工實境之前饋防撞專利

關鍵字：；()；；；(；)；；；；

瀏覽次數：2014｜歡迎推文：

科技產業資訊室 - 陳家駿 & 許正乾發表於 2022年8月3日

圖、Meta元宇宙中專利系列介紹（五）：人工實境之前饋防撞專利

早期玩家戴著VR眼鏡或頭戴式裝置，眼前所見都是虛擬世界的虛擬影像，等於與現實世界中的實體物件完全隔絕，因此玩家在有限的空間中，例如客廳或房間，在揮舞四肢或自由移動身軀時，難免會碰撞到實體的桌子、牆壁、茶几等物體而受傷，這大大影響了沈浸感。

有鑑於此，Meta於2019年12月申請「用於人工實境環境的前饋防止碰撞」(Feed-forward collision avoidance for artificial reality environments)專利，並在2021年12月獲准案號為US11,195,320B2之美國專利（以下稱本專利）。本專利主要揭露一種人工實境系統(artificial reality system)，包含一頭戴式顯示器（head-mounted display, HMD）、攝像裝置、實體影像重合引擎(physical overlay engine)，以及渲染引擎（rendering engine，這裡所謂的「引擎」，是代表一種用軟體方式去收集數據並予以分析的演算法）。

請參考圖一，本專利技術特徵在於，實體影像重合引擎係用以判斷實體物件（如圖中標號144的沙發），並收集其對應產生的實體影像數據，而渲染引擎係用以根據HMD所輸出的人工實境內容（如圖中標號122所示），及其對應產生的虛擬渲染數據。透過實體影像數據與渲染影像數據的疊合，讓實體的沙發在人工實境內容中呈現半透明；換言之，人工實境內容中也可以弱化虛擬世界中的盔甲武士、樹、寶藏等影像清晰度，而換取更具體且清楚的沙發影像輪廓。

圖一

圖二為圖一HMD（標號112）的一種實施例，其包含顯示器（標號203）、移動感測器（標號206）、內部控制單元（標號210），以及影像捕捉元件（標號138A、138B），其中本專利所謂的移動感測器，可計算當下HMD加速度的加速計（又被稱為慣性量測單元，IMU）、判斷當下HMD位置的GPS感測器、判斷當下相對於HMD之實體環境中，不同物件之對應距離與方位的雷達或聲納感測器，內部控制單元可包含電源與具有印刷電路板上的處理器、記憶體與各種硬體電子元件；影像捕捉元件是用來捕捉在視角範圍內（標號130A與130B之間）的實體物件之影像數據。另外，手持裝置（標號114）上設有一實體按鈕或虛擬按鈕（標號142），一旦使用者按下該按鈕，手持裝置就會透過無線訊號和HMD進行溝通，即可如前所述，實體影像數據與渲染影像數據的疊合而讓實體的沙發在人工實境內容中呈現半透明。當然，前述中的按鈕也可以是其他操控形式，例如語音命令、手勢或其他各種形式的輸入。

圖二

本專利中提到，傳統的人工實境系統所呈現的內容，不一定會與實體世界中的物件尺寸完全一致，正因如此，當使用者在實體空間中移動時，由於使用者已沈浸在虛擬的人工實境內容中，所以無法準確地在實體空間中移動躲避其中的障礙物，以至於可能發生碰撞；抑或是，為了躲避實體世界中的障礙物，使用者需無時無刻留意周圍實體環境是否有障礙物，造成難以有良好之沈浸式體驗。

傳統的人工實境系統在技術上的最大缺點，在於HMD無法提供任何相對於使用者所在實體空間之相對位置的資訊。舉例來說，當使用者頭戴傳統的HMD時，其所看到的虛擬世界的影像，完全覆蓋實體世界的物體，也就是說，當使用者大幅移動或擺動身體時，可能就與實體世界中的物體發生碰撞；因此，使用者就被迫卸下HMD，以觀察自己當下所在位置是否可能有障礙物，Meta認為這些缺點都大大地中斷沈浸式之體驗，不該在未來的元宇宙中發生。

然而，本專利係透過HMD上的攝像裝置（例如相機鏡頭），與手持裝置之間的參考坐標系(frame of reference)中隨時隨地不斷計算該兩者間的相對位置，進而對應地將該相對位置在人工實境內容中產生，並且當渲染引擎偵測到人工實境內容中所渲染的圖像覆蓋到實體物件（例如沙發144）時，實體影像重合引擎就會自動讓實體物件呈現半透明狀態，以提醒使用者避免與實體環境中的物體碰撞，如此能讓使用者在虛擬世界中有更好的沈浸式體驗。

同樣地，請再參考圖二，若HMD的視角偵測到實體空間中存在壁爐、電視和沙發，那麼透過實體影像重合引擎，就會自動讓這些物體在人工實境內容中呈現半透明狀態（如圖二中虛線之圖繪）。

圖三

此外，使用者戴上HMD後，可決定是否要按下手持裝置上的按鈕，以開啟一啟動條件(activation condition)產生重合影像數據(overlay image data)。一旦選擇啟動，實體影像重合引擎與渲染引擎，就會開始偵測前述兩者的影像數據是否疊合。請再參考圖三，其係為實體環境中的一虛擬邊界（如圖三中的粗黑線902所繪示）。當啟動條件被開啟時，該虛擬邊界也對應產生。該虛擬邊界的作用在於，當使用者一旦接近或跨過該虛擬邊界時，HMD就會對使用者顯示出警告；更甚者，若使用者更進一步地靠近實體世界的物件時，實體影像重合引擎就會自動讓實體物件呈現半透明狀態，以提醒使用者避免與實體環境中的物體發生碰撞。

圖四

Meta的這件發明專利，也許會讓沈浸在虛擬世界的玩家，回憶起2016年2月宏達電在國際消費性電子展（俗稱CES）上發表的HTC Vive，而旗下的Vive Pre開發者版本中的其中一項亮點，就是Chaperone安全系統，該系統中有一項設定，可供使用者決定是否要顯示地板邊界的安全設定，如圖五中的「Always show floor bounds」所示，其目的就是為了當玩家靠近障礙物時，會顯示出藍色的網格牆（如圖六所示），以提醒玩家小心實體環境中的物體以免發生碰撞。

圖五
（擷取自VIVE官網：https://www.vive.com/tw/support/vive/category_howto/changing-the-chaperone-settings.html）

圖六
（擷取自https://vr.poppur.com/vrglasses/OculusRift/1777.html）

就HTC Vive Pre保護使用者免於實體環境中與物體發生碰撞的技術，Meta之本專利所揭露的技術似乎與其相似，但由於本專利申請日是在2019年12月，而HTC Vive Pre在2016年2月就已公開發表，本專利申請日似落後於HTC所發表的Chaperone安全系統之後，這對於Meta在爭奪未來元宇宙的地盤時或有其他變數，日後兩家公司在元宇宙的發展，大家且拭目以待。(2126字；圖1)

作者資訊：
陳家駿台灣資訊智慧財產權協會理事長
許正乾 Midas - AI技術與科技專利顧問

參考資料：
Feed-forward collision avoidance for artificial reality environments. Google Patents, 2021/12/07.
宏達電CES秀新款HTC Vive Pre開發者版本。MoneyDJ，2016/01/06。
VIVE Focus 3 。VIVE官網。

相關文章：
1. Meta打造元宇宙中全方位沉浸式專利系列介紹
2. Meta元宇宙中專利系列介紹（一）：頭像化身保真度和個性化專利
3. Meta元宇宙中專利系列介紹(二)：元宇宙之眼–機械仿生眼專利
4. Meta元宇宙中專利系列介紹（三）：人類瞳孔轉向搭配HMD/NED整合AR/VR專利
5. Meta元宇宙中專利系列介紹（四）：基於雷達之人工實境追蹤裝置專利
6. VR/AR裝置若要邁向主流只能依賴蘋果了！

歡迎來粉絲團按讚！

--------------------------------------------------------------------------------------------------------------------------------------------