Meta打造元宇宙中全方位沉浸式專利系列介紹

關鍵字：()；()；；；；；；；；()；；；；；()；；；；；；(；)；；；；

瀏覽次數：3267｜歡迎推文：

科技產業資訊室 (iKnow) - 陳家駿 & 許正乾發表於 2022年6月13日

圖、Meta打造元宇宙中全方位沉浸式專利系列介紹

Metaverse已夯到不行，2021公認是元宇宙爆發的元年，它被描述為一多元、持久且永遠在線上之數位環境，人們透過數位分身(digital avatars)進到元宇宙，不論是工作、開會、社交、購物、消費、娛樂、運動、遠距學習、挑選個性化數位衣服鞋飾、創作藝術、欣賞虛擬畫廊或聽沉浸式音樂會等，總之，就是讓人們由數位分身進到浩瀚元宇宙中，與他人身歷其境地即時互動共享，一同創造虛擬真實互換之數位人生體驗。

要建構打破虛擬數位環境和實體世界間界限之元宇宙，理想上係結合雲端運算、AI機器學習、5G/6G、IoT、邊緣&量子運算、區塊鏈/智能合約（虛擬貨幣/NFT）等諸元素運作，建構出互協作性(collaboration)和互操作性(interoperability)平台，達到虛實轉換合一的宇宙境界。而如何將現實生活無縫融入虛擬環境，這其中最重要的，莫過於讓數位分身在虛擬世界中，有著與實體世界中人類感官之沉浸式體驗(immersive experience)。而欲進入元宇宙這一與虛實世界同步之3D空間數位世界，目前需從AR、VR、MR（mixed reality混合實境）等設備入口，才能去體驗沉浸式感受。

元宇宙中AR/VR相關專利，這幾年早已是戰國群雄時代，其中不論是Microsoft、IBM、Google、Magic Leap、Samsung、Sony、Apple或等各科技巨頭，早已部署專利組合，本系列之所以一開始選Meta，一方面是其在元宇宙中布局最力，高調宣稱每年要花100億美元大舉建構元宇宙；更遑論不到一年來，其已被美國專利商標局獲准百件相關專利，從該等公開之相關技術脈絡中，可窺知Meta是如何打造其元宇宙王國，在此之後，本系列再延伸討論其他的元宇宙專利。

基本上，Meta就緊捉讓人類五官達到臨場感之體驗，從打造元宇宙虛擬人物(Metaverse virtual humans)開始，製作逼真的頭像分身、機器人皮膚；然後再往視覺、聽覺與觸覺方面深度探究，如頭戴式耳機、沉浸式眼鏡、氣動手套，進而收集使用者之各種人體生物特徵資料，如追踪使用者之視線、眼球、面部表情、頭部運動、手勢、身體姿勢；並讓使用者在數位環境中，產生與虛擬對象互動之視覺、聽覺與觸覺的回饋系統，透過客製化的感應設備與技術，蒐集使用者的一頻一笑一舉一動，來實現其目標。

Meta在揮軍元宇宙道路上已先開啟視覺、聽覺、觸覺人類三項感官之體驗，並已獲准一系列的美國專利，茲介紹其中具代表性的包括：

虛擬頭像化身與機器人皮膚
Meta在元宇宙佈局中創造出頭像化身，人們透過此數位分身盡情於虛擬世界中，模擬各種情境產生沉浸式體驗與他人互動。例如發明案號US11,217,036B1「頭像化身保真度和個性化」(Avatar Fidelity and Personalization)，該專利顯示一項頭像化身之個性化引擎(avatar personalization engine)，增添與使用者匹配之附加特徵如髮型、眉毛形狀、面部毛髮、眼鏡等，使頭像化身模型進一步個性化；並使用所謂的皮膚複製器(skin replicator)，根據使用者的照片創造出栩栩如生之3D頭像。

2021年11月Meta宣布與Carnegie Mellon大學合作開發出一款輕量級的高解析度「觸覺感應機器人皮膚」(high-resolution touch sensor thin robot skin)，為機器人注入觸覺，而透過新環境的觸摸數據，可創造「元宇宙世界中逼真之虛擬物件和實體互動」，該ReSkin係皮膚厚度不到3毫米的橡膠塑料，表面類似橡膠具有彈性，而其內嵌有磁性粒子並用AI來校準其觸覺，當觸碰皮膚表面而產生按壓時，橡膠塑料會改變形狀而引發嵌入粒子產生磁場變化。

人眼瞳孔轉向搭配HMD整合AR專利
Meta看準人類靈魂之窗，包含大量思想之反應與表達，乃針對人眼瞳孔開創出發明案號US 11,112,613B2「瞳孔轉向之整合擴增實境頭戴式顯示器」（Integrated augmented reality head-mounted display for pupil steering），描述一種提供AR內容的頭戴式顯示設備，包括眼動儀(eye tracker)、投光器(light projector)、光束轉向器(beam steerer)和組合器(combiner)。眼動儀用來確認佩戴者眼睛的瞳孔位置，投光器用來投射光線並渲染影像的光，光束轉向器根據瞳孔的位置改變來自投光器之光的方向，組合器則用來結合來自投光器的光線，以及來自頭戴式顯示裝置外部的一部分光線進行透射後，將兩者不同的光線進行疊加，便可加以渲染影像並投影至眼睛內。

宇宙之眼機械眼球
Meta獲准一機械仿生眼睛的專利，亦稱為「元宇宙之眼」，係安裝在模仿人體內之機械仿生眼，發明案號US 11,192,246B2「兩軸可旋轉機械眼球」(Two-axis rotatable mechanical eyeball)。此金屬球體之設計類似人類的眼睛，可用作電子動畫裝置塞進機器人之頭內，以便精準追蹤人類眼球運動，這項機械眼球的設計未來將置於上述「類人類皮膚」中，當作仿生機器人的一部分。該專利請求保護之金屬球，具有兩個在中心點相交的旋轉軸，設計目的在於模仿人眼的鞏膜、視網膜和角膜，以及瞳孔和虹膜。

Meta的機械眼球可精確地追蹤人眼的運動，來觀測其在螢幕上及影像上停留的時間，如使用者眼睛注視的方向和其瞳孔的活動，可能隱含其興趣所在和情緒狀態的資訊，舉例來說，眼球徘徊在某圖片上則可能顯示出該使用者之喜好，因此業者就可據此眼球追蹤，對使用者推出特定之商品或廣告，透過此更可加速Meta AR/VR商業上的發展。

頭戴式耳機和沉浸式眼鏡追蹤身體姿勢感應裝置
接著，Meta基於跟蹤眼睛進而開發出其與面部運動應用之技術，在頭戴式耳機中，透過用微型攝像頭或感應器來收集，可增強使用者的VR/AR之體驗。例如，在視線所及之處將玩家顯示出更明亮的圖像，或確保其頭像分身反映出其在現實生活中所做的事情。然後Meta再瞄準各種頭部運動、身體姿勢，安裝在使用者腰部周圍的腰帶，以追蹤其身體姿勢的感應器裝置之各項專利，如Meta獲准之發明案號US 11,194,386B1「為追蹤人體姿態之人工實境可穿戴磁感應系統」（Artificial reality wearable magnetic sensor system for body pose tracking）；發明案號US 10,782,782B1「基於雷達之人工實境追蹤裝置、系統和方法」（Devices, Systems and Methods for Radar-based Artificial Reality Tracking）；發明案號US 11,195,320B2「人工實境之前饋防止碰撞」專利（Feed-forward collision avoidance for artificial reality environments）等。

從以上Meta創造之頭像化身、機器人皮膚、元宇宙之眼、人眼瞳孔轉向等眼球運動，搭配頭戴式裝置、感應手套監控面部表情、手勢和各身體姿勢，使玩家充分沉浸在逼真的元宇宙中，極大化地呈現3D影像和體驗，由此可窺知Meta急欲打通元宇宙「視覺/觸覺/聽覺」之任督二脈並已有若干斬獲；但真正元宇宙中的體驗，不僅包括這三種人類感官特徵，而還要能聞到氣味、嘗到味道，而目前在Meta元宇宙技術體系中，尚未提到的五官感覺便是味覺和嗅覺，但猜測其應早已在布署，毫無懸念的，各元宇宙大咖勢必已競相往「眼耳鼻舌身意」的終極境界邁進。

之後，本系列將一一介紹Meta以上這些具代表性之元宇宙相關專利。(2412字；圖1)

作者資訊：
陳家駿台灣資訊智慧財產權協會理事長
許正乾 Midas - AI技術與科技專利顧問

參考資料：
Facebook Patented a Mechanical Eyeball. Gizmodo，2022/1/14
Facebook patents reveal how it intends to cash in on metaverse. Financial Times，20221/18
Meta wants to track your every move: New patents include headbands, glasses and sensor-packed belts that monitor metaverse players' facial expressions, eye movements and body poses 'to create more realistic avatars'. Daily Mail，2022/1/19
元宇宙之眼！Meta機械仿生眼專利曝光，還要裝在仿生人體內。新智元，20221/17

相關文章：
1. 元宇宙中沉浸式專利之侵權訴訟終於開出第一槍
2. 擴增實境之沉浸式體驗重塑零售與金融商品之虛實界線
3. Meta、微軟、蘋果和三星重壓元宇宙裝置，商機最快於年底浮現
4. 臉書母公司命名為Meta 全力向VR/AR結合元宇宙前進
5. 即使臉書股價大跌，隨著蘋果表態元宇宙仍是2022年最熱門話題
6. 2030年人工智慧和元宇宙技術的發展關鍵

歡迎來粉絲團按讚！

--------------------------------------------------------------------------------------------------------------------------------------------