︿
Top

Meta元宇宙中專利系列介紹(一): 頭像化身保真度和個性化專利

瀏覽次數:1241| 歡迎推文: facebook twitter wechat Linked

科技產業資訊室(iKnow) - 陳家駿 & 許正乾 發表於 2022年6月20日
facebook twitter wechat twitter

圖、Meta元宇宙中專利系列介紹(一): 頭像化身保真度和個性化專利
 
在未來的元宇宙中,絕對少不了的元素之一,就是在虛擬世界代表個人身份的頭像化身或數位分身(digital avatars/twin或稱數位雙生,即俗稱阿凡達),因為元宇宙中仍需要「以人為本」,只是,這個人已變成「虛擬人」(virtual humans)。目前現有頭像化身之形成,是依賴系統在螢幕上所提供的多種類型供使用者選擇,然後再手動進行個人化製作,然而這樣的系統不僅操作起來很耗時,而且通常完成後的頭像化身也不像使用者本人,很難展現出其具有專屬之「個性化」。再者,即便現在有專業的3D建模設計師,可手動繪製創造出使用者的外貌特徵與輪廓,但仍需相當長時間來修改。
 
有鑒於以上的缺點,Meta於2019年10月提出一件改善的方法與系統,並在2022年初就獲准美國發明專利案號US11,217,036B1「頭像化身保真度和個性化」(Avatar Fidelity and Personalization,其申請日為2019/10/07,核准日為2022/01/04,預計到期日為2039/10/07,以下稱本專利),本專利顯示一項頭像化身之個性化引擎(avatar personalization engine),使用所謂的皮膚複製器(skin replicator)工具,根據使用者的照片創造出栩栩如生之3D頭像,再增添與使用者匹配之附加特徵如髮型、眉毛形狀、面部毛髮、眼鏡等,使頭像化身模型進一步得以顯現出個性化;目的在擬創造人物之3D複製,具超現實性以至於與真實無從區分 [註1]
 
本專利最大的貢獻,在於將頭像化身予以個性化的形成方法,而非在裝置或系統。具體而言,其揭露一種自動生成個人化的頭像化身,請參考圖一,係從使用者圖像到形成個人化的頭像化身的自動生成示意圖。
 

圖一、個人化頭像化身自動生成示意圖
 
本專利揭露電腦執行一連串的圖像辨識與生成的演算法(當然也包含一種機器學習)。首先,執行步驟702,透過圍繞在使用者周圍的多個攝像裝置,擷取一或多個使用者圖像,而使用者圖像又對應許多生物特徵數據;然後進入步驟704,透過基於使用者圖像創造3D使用者模型,其中3D使用者模型可和一般人模型比較,以確認使用者與一般人模型之間的增量(delta),如圖二所示:
 

圖二、一般人模型和3D使用者模型比較
 
所謂的增量就是執行步驟706,分析使用者臉部的表面紋理和個性化特徵,例如面部特徵的曲率和大小的差異之計算:中前額804和854、右臉頰810和860、左臉頰812和862、鼻子(在尖端)820和870、上唇816和866,下唇818和868和下巴線814和864。此外,針對面部特徵進行長度差異之計算:例如眼睛806和856之間的距離以及耳朵808和858的長度。
 
接著,執行步驟708,將步驟706已完成分析的確認之表面紋理和個性化特徵套入到步驟704的3D模型中。然後,執行步驟710,將使用者與一般人模型之間的增量套用到一3D通用模型(generic avatar model),如圖三所示。也就是說,將增量(圖中標號880)套用到3D通用模型902,以形成個人化頭像分身。最後,執行步驟712,將添加額外符合使用者的特徵(如髮型、眉毛幾何形狀、面部毛髮、眼鏡等),即完成整個個人化頭像分身的自動生成過程。
 

圖三、個人化頭像分身自動生成過程
 
Meta對本專利揭露的方法所帶來的優點在於,自動產生個性化之頭像分身,完全依賴電腦系統的分析與建模,而非憑藉目前使用者手動或3D建模設計師的「感覺」所繪製,因此本專利宣稱所有的過程,可在很短的時間內完成且成本更低。
 
其實,Avatars並非新穎的概念,因許多年來遊戲玩家一直在用,例如Super Mario或超現實之死亡擱淺(Death Stranding),然而,一旦要將它用來表彰真實人類的你我,則無論是在技術或心理上,皆需要相當之突破與調適;Meta念茲在茲想開創出真人版本,早於2019年初即利用高質量之3D掃描,推出具卡通風格之虛擬化身,擬取代目前使用之視頻會議,但該種卡通動漫並非Mark Zuckerberg之終極目標,他要的是具有與真人屬性幾無區別的avatars。企圖透過輕量級耳機,使用頭戴式捕獲系統(Head Mounted Capture systems)原型,配備攝像頭、加速計、陀螺儀(gyroscopes)、磁力計(magnetometers)、紅外線(infrared lighting)和麥克風,以捕獲全方位之人的表達。
 
Meta乃從使用者佩戴VR裝置,並收集包括眼球、嘴部運動和面部細緻的表情等數據,再透過機器學習而即時產生真實的化身。但頭像化身絕非僅只於臉眼頭部而已,而必須要及於全身,故Meta延續其2019年雛型,於眼睛與臉部活動外,再擴及到人體全身的元數據(meta data)之追踪、蒐集處理,並透過運行效能更快、耗能更低之AI演算法和神經網絡技術等特殊應用晶片(俗稱ASIC),來改進生成更逼真之頭像化身。
 
Meta去年底公布,其開發用於XR之高保真3D逼真頭像化身系統,係在Quest 2上運作最新版本的“Codec Avatars 2.0”,再創出一「全身編轉碼器頭像化身」(Full-body Codec Avatars),該渲染的虛擬分身,可模擬眼睛上下左右的運動、表情,甚至是全身姿態的跟踪;而在VR中還可從多角度觀看此動態3D圖像,不僅可渲染出更接近真人的逼真外觀,在不同的動態光線條件與環境下,可細到頭髮和皮膚等細節之真實渲染,都有很大突破,甚至還可顯示出人臉的每個毛孔。
 
Meta的目的是想讓使用者可快速容易的建構其在元宇宙之頭像化身,於AR/VR中動態渲染出逼真之頭髮、眉毛、皮膚、鬍鬚等五官,進而支援眼部運動、面部表情、四肢與身體姿態等特徵,發展出全軀體逼真的的虛擬化身(photorealistic avatars)。此外,為了進一步提升Avatar的真實感,Meta也開發出模擬布料的物理特性,在VR中觸摸裙子時,其可模擬出裙子的皺褶波動,甚至還可看到布料的拉扯。
 
Meta之高保真3D場景渲染效果,特點是支持即時動態渲染,可模擬真實場景變化,未來有助於增強VR社交體驗感。對Meta來說,該高保真3D動態仿真(high-fidelity 3D dynamic simulation)技術,是實現Metaverse之必要突破。不過,它當然還需再改進觸摸、手部與眼睛跟踪和電腦視覺等項目,其刻正加緊研發全身之動態虛擬系統。
 
依以上所揭露之本專利,僅只著重於頭與臉部之「頭像」而已,尚未及於身體,Meta之Full-body Codec Avatars理論上,想必其早已在布局相關之專利,值得後續關注。總之,Meta在元宇宙暫已有所斬獲,放眼未來雖仍有很長的路,但至少已跨出了重要的一步。(2653字;圖1)
 
註1:專利摘要指可透過基於使用者之一個或多個圖像創造3D使用者模型,為使用者產生個性化之化身。該頭像化身之個性化引擎,能計算3D使用者模型和一個普通人模型之間的增量(delta),該模型基於多數人的平均測量值創立的模型。然後頭像化身之個性化引擎,依增量中確認之對應特徵指定的量,透過改變通用化身模型之特定特徵的測量,可將增量應用於通用之化身模型,再將通用化身模型予以個性化來模仿使用者,可增添與使用者特徵匹配之附加特徵,例如髮型、眉毛幾何形狀、面部毛髮、眼鏡等,使頭像化身模型得進一步予以個性化。


作者資訊:
陳家駿  台灣資訊智慧財產權協會 理事長
許正乾  Midas - AI技術與科技專利顧問

 
參考資料
Meta announced the progress of high-fidelity 3D avatar system: fine to pores, support for dynamic lighting. iMedia, 2022/6/20.
Photorealistic Avatars: Meta’s research makes progress. Mixed, 2022/5/5.
Facebook Shows Off Research Aiming to Deliver Truly Realistic Avatars. RoadToVR, 2022/5/13.
Will meta metaverse avatars will be your real digital copy? Or is it a digital clone of you? CaesarVR, 2022.
 
 
相關文章:
1. Meta打造元宇宙中全方位沉浸式專利系列介紹
2. 元宇宙中沉浸式專利之侵權訴訟終於開出第一槍
3. Meta、微軟、蘋果和三星重壓元宇宙裝置,商機最快於年底浮現
4. 臉書母公司命名為Meta 全力向VR/AR結合元宇宙前進
5. 科技四大廠商2022年積極布局元宇宙或AR/VR
6. 
Gartner:醫療物聯網之技術佈署應策略性排序並與內部程序相整合

 
歡迎來粉絲團按讚!
--------------------------------------------------------------------------------------------------------------------------------------------
【聲明】
1.科技產業資訊室刊載此文不代表同意其說法或描述,僅為提供更多訊息,也不構成任何投資建議。
2.著作權所有,非經本網站書面授權同意不得將本文以任何形式修改、複製、儲存、傳播或轉載,本中心保留一切法律追訴權利。