Meta元宇宙中專利系列介紹（六）：追蹤人體姿態之可穿戴磁感應系統專利

關鍵字：()；；；()；()；()；()；()；

瀏覽次數：3269｜歡迎推文：

科技產業資訊室(iKnow) - 陳家駿、許正乾發表於 2023年2月3日

圖、Meta元宇宙中專利系列介紹（六）：追蹤人體姿態之可穿戴磁感應系統專利

Meta為打造其元宇宙，不斷開發各種讓人類視覺/聽覺/觸覺沉浸式體驗之技術與設備，企圖營造讓人們在數位世界虛擬場景之臨場感，而為了實現這一目標Meta已申請一系列的專利，例如過去Meta元宇宙中專利系列介紹（一）的「頭像化身保真度和個性化」、專利系列介紹（二）的「元宇宙之眼 - 機械仿生眼」、專利系列介紹（三）的「人類瞳孔轉向搭配HMD/NED整合AR/VR」、專利系列介紹（四）的「基於雷達之人工實境追蹤裝置」，以及專利系列介紹（五）的「人工實境之前饋防撞」等專利。需稍微一提的是，系列介紹（三）是透過雷達追蹤人體的各部位的相對位置與相對速度，而即將要介紹的本系列（六）主要是透過磁場變化來追蹤人體各部位的相對位置與相對速度。

Meta於2019年7月申請「為追蹤人體姿態之人工實境可穿戴磁感應系統」(artificial reality wearable magnetic sensor system for body pose tracking)專利，並在2021年12月獲准案號為US 11,194,386 B1之美國專利（以下稱本專利），代表圖示如下(圖一)，其揭露一種人工實境系統（標號1），包含電腦設備（標號118）、頭戴式顯示器（HMD: head-mounted display，標號112），可穿戴的磁感測系統（標號127）以及與操控台（console，標號106）耦合連結的感測器（標號90）。可穿戴的磁感測系統又包含一可穿戴之物件（標號130）、磁感測元件（標號125）以及磁發射器（圖未示），該可穿戴之物件設有一或多個磁感測元件（標號125），其被用以分佈環繞在一玩家（標號110A）的身體軀幹，而磁發射器用以產生磁場，當磁感應元件接收到來自磁發射器的磁場變化後，可獲取追蹤身體姿勢的磁感應數據。透過磁感應元件佈置在玩家的身體不同位置，如此可最大化地提高追蹤之精確度，並最小化磁感應元件與磁發射器之間的干擾。

圖一

具體而言，本專利是透過與操控台耦合連結的感測器（標號90）感測玩家身上的磁感測元件（標號125）的訊號變化，而能追蹤玩家的肢體移動，並且在玩家的HMD內可看見人工實境內容（標號122A）中的自己被虛擬化身為一騎士頭像化身（標號120A），而在該電腦設備（如智慧手機、平板電腦或筆記型電腦）上也可同時看到人工實境內容（標號122B）中的盔甲騎士頭像化身。

根據本專利所揭露的技術內容，基本上是以擴增實境(Augmented Reality，AR)的技術作為發明基礎。所謂的AR，其實可直接比擬之前很夯的「寶可夢精靈(Pokémon GO)」，當時很多人拿著智慧手機聚集在公園、街道、海邊、廣場等各地，從清晨到半夜都在忙著抓寶。亦即，透過智慧手機的攝影鏡頭，看到實體環境中有虛擬的神獸飛來飛去，像這種將虛擬資訊（或虛擬物件）融入實體環境的做法就是AR的特色。

本專利明確地點出AR應用的特色：使用者（即標號110B）從智慧手機或平板電腦透過無線連結控制台（console，標號106）的操控而可看到實際場景中的一位玩家（即標號110A）被虛擬化為一位身穿鐵甲武士裝並揮動手、手持利劍穿著盔甲、擺動身體的盔甲騎士頭像化身。然而，技術實作上較特別的是，本專利是利用玩家所穿戴的衣物或配件上的磁感測元件去偵測隨著肢體的運動所發生的磁場變化而對應產生的感測數據，然後該感測數據就隨著電磁波而傳送到網路中的感測器（即標號90），最後再透過控制台(console)構建或渲染人工實境內容。本專利也宣稱這樣的技術也可應用如視訊會議、導航、教育、培訓模擬等各種應用程式，並予以人工實境化。

至於前面所述的磁感測元件，其實就是人們所熟悉在智慧手機中一定會有的重力感測器(G-sensor)或陀螺儀(gyroscope[1])，這些都是用來和感測器、操控台交互作用，以測量肢體運動過程中的受力情況、旋轉角度、運動軌跡，並定位肢體上每一點在空間中的所在位置。

再參考下圖(圖二)，其係本專利的另一個實施例，與前一實施例不同處在於，實體物件（標號108A-C）可分別虛擬化成人工實境內容中的虛擬物件（標號128A-C），兩個盔甲騎士頭像化身在人工實境內容中相互交戰。

圖二

最後本專利更指出，透過結合感測器原本就有的校正、感測器與攝像機之間的校正，以及感測器與肢體骨骼間的校正等各階段的演算法，甚至於結合AI做校正而更能大幅提升追蹤姿勢的準確度，這是滿足元宇宙中的良好沉浸式體驗不可或缺一環的要素。

Meta專利中描述的技術，正努力創造一個人們可工作和娛樂的數位世界。以上「可穿戴磁感測系統」(wearable magnetic sensor system)的專利，正好描述針對身體上使用各種不同的設備來收集使用者的生物特徵數據(biometric data)。此外，又描述一幅帶有電子顯示屏幕的眼鏡，可為人的每隻眼睛提供單獨的影像，同時頭上的小工具能追蹤其眼球運動，以更流暢地顯示數位場景，Meta擬透過此建構一更逼真的3D環境，好讓使用者沉浸在元宇宙世界中。(1863字；圖3)

註解：

[1] 陀螺儀最早用於導航，後來被廣泛用在偵測使用者拿智慧手機的姿態與定位；而重力感測器(G-sensor)的功能與陀螺儀差不多。一般系統設計工程師都會結合兩者感測器，以捕捉實際的3D空間中的完整動作，讓使用者具有更真實的臨場體驗。

作者資訊：
陳家駿台灣資訊智慧財產權協會理事長
許正乾 Midas - AI技術與科技專利顧問

參考資料：
Artificial reality wearable magnetic sensor system for body pose tracking. Google Patent, 2021/12/7.
Meta wants to track your every move: New patents include headbands, glasses and sensor-packed belts that monitor metaverse players' facial expressions, eye movements and body poses 'to create more realistic avatars'. DailyMail, 2022/1/19.
Facebook's vision for a hyperrealistic metaverse includes 'body pose tracking,' 'pupil steering,' clothing that wrinkles with movement, and a 'magnetic sensor system' worn around the torso, according to recent patent filings. BusinessInsider, 2022/1/11.

相關文章：
1. Meta元宇宙中專利系列介紹（五）：人工實境之前饋防撞專利
2. Meta元宇宙中專利系列介紹（四）：基於雷達之人工實境追蹤裝置專利
3. Meta元宇宙中專利系列介紹（三）：人類瞳孔轉向搭配HMD/NED整合AR/VR專利
4. Meta元宇宙中專利系列介紹（二）：元宇宙之眼–機械仿生眼專利
5. Meta元宇宙中專利系列介紹（一）：頭像化身保真度和個性化專利
6. Meta打造元宇宙中全方位沉浸式專利系列介紹

歡迎來粉絲團按讚！

--------------------------------------------------------------------------------------------------------------------------------------------