︿
Top

Meta打造元宇宙中全方位沉浸式專利系列介紹

瀏覽次數:3207| 歡迎推文: facebook twitter wechat Linked

科技產業資訊室 (iKnow) - 陳家駿 & 許正乾 發表於 2022年6月13日
facebook twitter wechat twitter

圖、Meta打造元宇宙中全方位沉浸式專利系列介紹

Metaverse已夯到不行,2021公認是元宇宙爆發的元年,它被描述為一多元、持久且永遠在線上之數位環境,人們透過數位分身(digital avatars)進到元宇宙,不論是工作、開會、社交、購物、消費、娛樂、運動、遠距學習、挑選個性化數位衣服鞋飾、創作藝術、欣賞虛擬畫廊或聽沉浸式音樂會等,總之,就是讓人們由數位分身進到浩瀚元宇宙中,與他人身歷其境地即時互動共享,一同創造虛擬真實互換之數位人生體驗。
 
要建構打破虛擬數位環境和實體世界間界限之元宇宙,理想上係結合雲端運算、AI機器學習、5G/6G、IoT、邊緣&量子運算、區塊鏈/智能合約(虛擬貨幣/NFT)等諸元素運作,建構出互協作性(collaboration)和互操作性(interoperability)平台,達到虛實轉換合一的宇宙境界。而如何將現實生活無縫融入虛擬環境,這其中最重要的,莫過於讓數位分身在虛擬世界中,有著與實體世界中人類感官之沉浸式體驗(immersive experience)。而欲進入元宇宙這一與虛實世界同步之3D空間數位世界,目前需從AR、VR、MR(mixed reality混合實境)等設備入口,才能去體驗沉浸式感受。
 
元宇宙中AR/VR相關專利,這幾年早已是戰國群雄時代,其中不論是Microsoft、IBM、Google、Magic Leap、Samsung、Sony、Apple或等各科技巨頭,早已部署專利組合,本系列之所以一開始選Meta,一方面是其在元宇宙中布局最力,高調宣稱每年要花100億美元大舉建構元宇宙;更遑論不到一年來,其已被美國專利商標局獲准百件相關專利,從該等公開之相關技術脈絡中,可窺知Meta是如何打造其元宇宙王國,在此之後,本系列再延伸討論其他的元宇宙專利。
 
基本上,Meta就緊捉讓人類五官達到臨場感之體驗,從打造元宇宙虛擬人物(Metaverse virtual humans)開始,製作逼真的頭像分身、機器人皮膚;然後再往視覺、聽覺與觸覺方面深度探究,如頭戴式耳機、沉浸式眼鏡、氣動手套,進而收集使用者之各種人體生物特徵資料,如追踪使用者之視線、眼球、面部表情、頭部運動、手勢、身體姿勢;並讓使用者在數位環境中,產生與虛擬對象互動之視覺、聽覺與觸覺的回饋系統,透過客製化的感應設備與技術,蒐集使用者的一頻一笑一舉一動,來實現其目標。

Meta在揮軍元宇宙道路上已先開啟視覺、聽覺、觸覺人類三項感官之體驗,並已獲准一系列的美國專利,茲介紹其中具代表性的包括:

虛擬頭像化身與機器人皮膚
Meta在元宇宙佈局中創造出頭像化身,人們透過此數位分身盡情於虛擬世界中,模擬各種情境產生沉浸式體驗與他人互動。例如發明案號US11,217,036B1「頭像化身保真度和個性化」(Avatar Fidelity and Personalization),該專利顯示一項頭像化身之個性化引擎(avatar personalization engine),增添與使用者匹配之附加特徵如髮型、眉毛形狀、面部毛髮、眼鏡等,使頭像化身模型進一步個性化;並使用所謂的皮膚複製器(skin replicator),根據使用者的照片創造出栩栩如生之3D頭像。
 
2021年11月Meta宣布與Carnegie Mellon大學合作開發出一款輕量級的高解析度「觸覺感應機器人皮膚」(high-resolution touch sensor thin robot skin),為機器人注入觸覺,而透過新環境的觸摸數據,可創造「元宇宙世界中逼真之虛擬物件和實體互動」,該ReSkin係皮膚厚度不到3毫米的橡膠塑料,表面類似橡膠具有彈性,而其內嵌有磁性粒子並用AI來校準其觸覺,當觸碰皮膚表面而產生按壓時,橡膠塑料會改變形狀而引發嵌入粒子產生磁場變化。
 

人眼瞳孔轉向搭配HMD整合AR專利
Meta看準人類靈魂之窗,包含大量思想之反應與表達,乃針對人眼瞳孔開創出發明案號US 11,112,613B2「瞳孔轉向之整合擴增實境頭戴式顯示器」(Integrated augmented reality head-mounted display for pupil steering),描述一種提供AR內容的頭戴式顯示設備,包括眼動儀(eye tracker)、投光器(light projector)、光束轉向器(beam steerer)和組合器(combiner)。眼動儀用來確認佩戴者眼睛的瞳孔位置,投光器用來投射光線並渲染影像的光,光束轉向器根據瞳孔的位置改變來自投光器之光的方向,組合器則用來結合來自投光器的光線,以及來自頭戴式顯示裝置外部的一部分光線進行透射後,將兩者不同的光線進行疊加,便可加以渲染影像並投影至眼睛內。
 
宇宙之眼機械眼球
Meta獲准一機械仿生眼睛的專利,亦稱為「元宇宙之眼」,係安裝在模仿人體內之機械仿生眼,發明案號US 11,192,246B2「兩軸可旋轉機械眼球」(Two-axis rotatable mechanical eyeball)。此金屬球體之設計類似人類的眼睛,可用作電子動畫裝置塞進機器人之頭內,以便精準追蹤人類眼球運動,這項機械眼球的設計未來將置於上述「類人類皮膚」中,當作仿生機器人的一部分。該專利請求保護之金屬球,具有兩個在中心點相交的旋轉軸,設計目的在於模仿人眼的鞏膜、視網膜和角膜,以及瞳孔和虹膜。
 
Meta的機械眼球可精確地追蹤人眼的運動,來觀測其在螢幕上及影像上停留的時間,如使用者眼睛注視的方向和其瞳孔的活動,可能隱含其興趣所在和情緒狀態的資訊,舉例來說,眼球徘徊在某圖片上則可能顯示出該使用者之喜好,因此業者就可據此眼球追蹤,對使用者推出特定之商品或廣告,透過此更可加速Meta AR/VR商業上的發展。
 
頭戴式耳機和沉浸式眼鏡追蹤身體姿勢感應裝置
接著,Meta基於跟蹤眼睛進而開發出其與面部運動應用之技術,在頭戴式耳機中,透過用微型攝像頭或感應器來收集,可增強使用者的VR/AR之體驗。例如,在視線所及之處將玩家顯示出更明亮的圖像,或確保其頭像分身反映出其在現實生活中所做的事情。然後Meta再瞄準各種頭部運動、身體姿勢,安裝在使用者腰部周圍的腰帶,以追蹤其身體姿勢的感應器裝置之各項專利,如Meta獲准之發明案號US 11,194,386B1「為追蹤人體姿態之人工實境可穿戴磁感應系統」(Artificial reality wearable magnetic sensor system for body pose tracking);發明案號US 10,782,782B1「基於雷達之人工實境追蹤裝置、系統和方法」(Devices, Systems and Methods for Radar-based Artificial Reality Tracking);發明案號US 11,195,320B2「人工實境之前饋防止碰撞」專利(Feed-forward collision avoidance for artificial reality environments)等。
 
從以上Meta創造之頭像化身、機器人皮膚、元宇宙之眼、人眼瞳孔轉向等眼球運動,搭配頭戴式裝置、感應手套監控面部表情、手勢和各身體姿勢,使玩家充分沉浸在逼真的元宇宙中,極大化地呈現3D影像和體驗,由此可窺知Meta急欲打通元宇宙「視覺/觸覺/聽覺」之任督二脈並已有若干斬獲;但真正元宇宙中的體驗,不僅包括這三種人類感官特徵,而還要能聞到氣味、嘗到味道,而目前在Meta元宇宙技術體系中,尚未提到的五官感覺便是味覺和嗅覺,但猜測其應早已在布署,毫無懸念的,各元宇宙大咖勢必已競相往「眼耳鼻舌身意」的終極境界邁進。
 
之後,本系列將一一介紹Meta以上這些具代表性之元宇宙相關專利。(2412字;圖1)
 
作者資訊:
陳家駿  台灣資訊智慧財產權協會 理事長
許正乾  Midas - AI技術與科技專利顧問
 
 
參考資料:
Facebook Patented a Mechanical Eyeball. Gizmodo,2022/1/14
Facebook patents reveal how it intends to cash in on metaverse. Financial Times,20221/18
Meta wants to track your every move: New patents include headbands, glasses and sensor-packed belts that monitor metaverse players' facial expressions, eye movements and body poses 'to create more realistic avatars'. Daily Mail,2022/1/19
元宇宙之眼!Meta機械仿生眼專利曝光,還要裝在仿生人體內。新智元,20221/17
 
 
相關文章:
1. 元宇宙中沉浸式專利之侵權訴訟終於開出第一槍
2. 擴增實境之沉浸式體驗重塑零售與金融商品之虛實界線
3. Meta、微軟、蘋果和三星重壓元宇宙裝置,商機最快於年底浮現
4. 臉書母公司命名為Meta 全力向VR/AR結合元宇宙前進
5. 即使臉書股價大跌,隨著蘋果表態元宇宙仍是2022年最熱門話題
6. 2030年人工智慧和元宇宙技術的發展關鍵

 
歡迎來粉絲團按讚!
--------------------------------------------------------------------------------------------------------------------------------------------
【聲明】
1.科技產業資訊室刊載此文不代表同意其說法或描述,僅為提供更多訊息,也不構成任何投資建議。
2.著作權所有,非經本網站書面授權同意不得將本文以任何形式修改、複製、儲存、傳播或轉載,本中心保留一切法律追訴權利。