Meta元宇宙中專利系列介紹（四）：基於雷達之人工實境追蹤裝置專利

關鍵字：()；；；()；；；；()；()；()；

瀏覽次數：5432｜歡迎推文：

科技產業資訊室(iKnow) - 陳家駿 & 許正乾發表於 2022年7月18日

圖、Meta元宇宙中專利系列介紹（四）：基於雷達之人工實境追蹤裝置專利

Meta為打造其元宇宙(Metaverse)，開發新技術與各式感應設備，優化各類沉浸式頭戴式裝置、創造逼真的頭像化身、機器人皮膚，到抓緊人類視覺/聽覺/觸覺之深度探究，去追蹤監測玩家眼球視線、面部表情、頭部運動、手勢、身體姿態等一舉一動，蒐集這些人體生物特徵資料，然後產生出與虛擬對象互動之回饋系統，讓玩家能充分沉浸在數位世界中的虛擬影像與場景環境，而為實現這一目標其已申請一系列的專利。

Meta於2020年9月獲准美國專利「基於雷達之人工實境追蹤裝置、系統和方法」(Devices, Systems and Methods for Radar-based Artificial Reality Tracking)，其專利案號US 10,782,782，申請日為2019年7月18日，核准日為2020年9月22日（以下稱本專利），本專利的代表圖如圖一所示，揭露一種人工實境追蹤系統，其包含頭戴式裝置（圖中標號520）以及固定在手套上的多個轉發器（transponder圖一標號506、508、510、512與514），其中使用者穿上頭戴式裝置後，可看到虛擬實境內容的呈現，並與之互動。

圖一

本專利的技術特徵在於，透過頭戴式裝置上的雷達元件（圖中標號516、518），與多個轉發器彼此間的無線電波調頻（frequency-modulated）[1] 訊號來回傳遞之距離，可追蹤該使用者身體在實體環境中的各部位，並透過頭戴式裝置內中的處理器，計算出該使用者身體的各部位之相對位置與運動的相對速度，然後再根據所計算出當下的相對位置與相對速度，立刻對應地投射到頭戴式裝置的虛擬實境內容中，而這所有的發生過程都在極短時間內完成。

根據本專利的內容，可嘗試用一種較淺顯易懂的方式，來重新詮釋艱澀的專利說明書。舉例來說，當使用者在實體環境中向右擺動自己的頭，同時右手由後向前用力一揮，做出如網球運動員般的殺球動作，在做這一連串動作的極短時間內，轉發器立即回傳訊號至雷達元件，告知頭戴式裝置內的處理器後，立即將使用者身體的各部位，在實體環境中運動的相對位置和相對速度，投影在虛擬實境內容，而虛擬實境內容中的虛擬化身，也立即展現殺球的姿勢。此外，在這種發明概念下，手套上的轉發器也可固定在其他形式如髮箍、腰帶、手錶、腕帶等物體上，以便將轉發器上的反射訊號傳遞至雷達元件，進而即時計算出實體環境中使用者的整體姿勢為何。

更有趣的是，本專利還提到透過頭戴式裝置所投影出的影像，當使用者去觸摸該影像時，使用者會產生一種手持物體的感知。而這樣的感知是透過手套上的觸覺裝置（haptic device如下圖二的標號1304）內的機械感測器、壓電感測器，或是流體感測器等感測元件，而可精準地捕捉手腕、肌腱等肌肉活動，以便追蹤身體的姿勢與感知，讓使用者置身在VR環境中，猶如現實世界般擬真的沈浸式體驗。

圖二

值得一提的是，關於前述提到的手套，其細部結構可參考圖三，包含觸覺裝置（標號1210與1220）、紡織材料（標號1230）、振動觸覺元件（標號1240）、電源（標號1250）、處理器（標號1260），以及通訊介面（標號1280），其中觸覺裝置被嵌入至手套內，用以捕捉手腕、肌腱等肌肉活動；紡織材料具有彈性，可用以包覆手和手腕；振動觸覺元件被設置在紡織材料內，並且被用以定位在使用者的手指、拇指和手腕上，以對使用者提供觸覺反饋，而這樣的觸覺反饋，可包含動態地捕捉使用者的手指彎曲狀態；電源是用以提供振動觸覺元件與處理器之電力，以啟動振動觸覺元件的運作；處理器係接受電源的啟動後將透過程式化控制所有的振動觸覺元件的運作；通訊介面則用以接收來自處理器的訊號，並且輸出其對應的訊號，而可電性耦合到手套外的某一種裝置或系統（標號1270），例如：行動裝置、遊戲工作台（gaming console）、VR、AR、MR、個人電腦、平板電腦或路由器之類的裝置或系統。

圖三

至於本專利中的另一個重點，如圖四，其係一種代表可穿戴式裝置的AR系統示意圖。此AR系統包含框架（標號902）、攝像機（標號904）、輸出音訊轉換器（audio transducer，標號908(A)與908(B)），以及輸入音訊轉換器（標號910），其中攝像機用以收集真實環境中的資訊，輸入音訊轉換器用以捕捉真實環境的聲音，而輸出音訊轉換器根據輸入音訊轉換器所捕捉到的聲音，而可轉換成音訊回饋/內容至使用者。

圖四

簡言之，本專利的特點，就是透過一可追蹤使用者頭部運動之人工實境的頭戴式裝置，具有內嵌多個轉發器的手套，以及頭帶可追蹤使用者的頭部運動，並捕捉環境中聲音之音頻轉換器。此外，本專利透過雷達偵測到手套上所有的轉發器，而該轉發器還可精準地捕捉手腕、肌腱等肌肉之活動，以追蹤身體姿勢並蒐集身體反應之生物數據。特別值得一提的，這個專利申請，總共只花了一年多一點的時間就被核准，表示其技術內涵的確具有相當高之含金量，因此才能在相對短的時間取得。

從本專利可大略一窺Meta對於未來產品的走向，企圖想在虛擬世界中打造一種與現實世界一模一樣的觸覺感知，好讓使用者戴上手套後，不論是進入AR、VR或是MR等虛擬世界，透過手指或手掌去觸摸虛擬世界的一個虛擬物體時，使用者彷彿如真實世界碰觸真實物體一般，手套上的觸覺裝置會突然產生一種阻力感，讓現實中的使用者發生一種觸碰感或按壓感等方面之感知。

虛擬世界中的觸覺感知科技其實才剛起步，也許對某些「一級玩家」而言，已等不及想要體驗這種神奇的感受，但可能對另外一群「一級玩家」來說，要戴上佈滿上百個電子元件 [2] 這麼厚重悶熱的手套來進行遊戲，是否真的能達到完美的沈浸式體驗？這可能還需要觀察市場的接受度才知道。

在「五感」之中，即聽覺、視覺、觸覺、嗅覺以及味覺，目前，聽覺應該算是相對成熟的技術，即便在虛擬世界要聽3D立體環繞音效，讓使用者有空間感、方向感也不是難事；視覺在虛擬世界的進展目前算是尚可，但要達到3D全像影像（holography）[3] 卻還有很長一段路要走；觸覺正值起步階段；至於嗅覺與味覺現今來看就更是遙不可及了。

倘若要在元宇宙達到如真正實體世界的感受，讓使用者能夠達到近乎100%的沈浸式體驗，勢必需要完美整合多種的感知。我們試著想像，當未來電影院不再流行時下的2D或3D電影時，取而代之的是觀眾買了一張「侏羅紀公園」的電影票進入戲院後，觀眾就彷彿置身在1.4億年前的侏羅紀時代，完美體驗恐龍的嘶吼聲（聽覺）、巨大貌（視覺）、厚實感（觸覺）、掠食者氣味（嗅覺）等多重感知，營造一種穿越時空之氣氛。不過，要達到這樣的元宇宙，勢必還有一段很長的路要走，而其中產業的背後，最不可或缺的可能還是半導體技術與高算力的處理器。(2846字；圖1)

註解：

[1] 調頻（frequency-modulated, FM）意指控制電磁波的頻率隨時間發生變化，例如耳熟能詳的FM電台就是以FM形式傳播訊號，其頻率分布在88MHz至108MHZ之間，其優點可以高功率發射，所以背景雜訊就相對小，適合傳送影像與音樂；此外透過頻移（frequency offset）而可計算出收發裝置之間的相對位置。這也是Meta為何會傾向採用FM技術，而非調幅（amplitude-modulated, AM）技術。

[2] 為了提供逼真的觸感，觸覺手套需要在整個手上安裝數百個執行器（微型電機），讓佩戴者的手部運動與觸摸虛擬物體時能夠協同反應。

[3] 所謂的3D全像影像，究竟與元宇宙的關聯為何？簡言之，3D全像影像就是利用光學中的干涉與繞射原理，將物件全貌完整紀錄下來，並重現該物件真實樣貌的3D圖像；此外，使用者也不用配戴AR、VR或MR等任何厚重的眼鏡或頭盔等裝置，即可體驗虛擬世界的景物。隨著未來5G行動通訊技術的日益成熟、與處理器的運算速度與日俱增，更能讓3D全像影像在元宇宙實現「所見即所得」。

作者資訊：
陳家駿台灣資訊智慧財產權協會理事長
許正乾 Midas - AI技術與科技專利顧問

參考資料
Devices, Systems and Methods for Radar-based Artificial Reality Tracking，2019/7/18( Meta在美國核准之發明專利)
進入元宇宙的觸覺手套出現了！Meta打造出了「一級玩家」中觸覺手套的原型。電腦王，2021/11/19
元宇宙助攻，3D全息投影風雲再起。TechNews，2022/04/25

相關文章：
1. Meta打造元宇宙中全方位沉浸式專利系列介紹
2. Meta元宇宙中專利系列介紹（一）：頭像化身保真度和個性化專利
3. Meta元宇宙中專利系列介紹(二)：元宇宙之眼–機械仿生眼專利
4. Meta元宇宙中專利系列介紹（三）：人類瞳孔轉向搭配HMD/NED整合AR/VR專利
5. 結合半導體和元宇宙，徹底改變半導體研發創新能力
6. 元宇宙中沉浸式專利之侵權訴訟終於開出第一槍

歡迎來粉絲團按讚！

--------------------------------------------------------------------------------------------------------------------------------------------