Meta元宇宙中專利系列介紹（三）：人類瞳孔轉向搭配HMD/NED整合AR/VR專利

關鍵字：；()；(；)；(；)；；；；；；(；)；

瀏覽次數：2899｜歡迎推文：

科技產業資訊室 (iKnow) - 陳家駿 & 許正乾發表於 2022年7月4日

圖、Meta元宇宙中專利系列介紹（三）：人類瞳孔轉向搭配HMD/NED整合AR/VR專利

從過去十年以來，AR（擴增實境）頭戴式顯示器(HMD: head-mounted display)之應用愈來愈多，已漸成為現代生活的重要設備，由於小型化顯示器、相機和感應器的進步，在顯示虛擬影像的同時保持透視能力，可將AR頭戴式顯示器、瞳孔追蹤器(pupil trackers)、空間光調製器(spatial-light-modulators)、電腦產生之全像(holography)、與HMD整合成自適應性之光學(adaptive optics)，為視覺模擬提供了強大的技術，現已被廣泛用於從遊戲、駕駛輔助到醫療培訓等多種用途，因此AR大幅促進了使用者、數位內容和現實/虛擬世界之間的互動。

而社群網絡巨擘Meta當然也體認及此，並將其延伸至元宇宙中。而元宇宙本質上就是虛擬世界，因此Meta擬於其中製作逼真的頭像分身，收集各項人體生物特徵資料，並計劃透過客製化的技術以追蹤使用者臉部的一舉一動來實現其目標，其中一種方式就是根據眼睛注視的方向和瞳孔活動，來判斷使用者可能隱含之興趣並掌握情緒狀態之資訊。例如，眼睛流連在某張圖片上即可能表明其喜好，Meta於是按圖索驥開發這些用於追蹤眼睛方面應用之技術，如在頭戴式耳機中透過微型攝像頭或感應器，來收集眼球的運動，以回饋提供使用者增強其在VR或AR上更沉浸式之體驗。

虛擬實境需要從使用者收集精確的數據，以製作出完全沉浸式之體驗。眼動追蹤技術對沉浸感和與虛擬環境之互動至關重要，如果感知之資訊輸入不準確，它可能會讓使用者迷失方向，或讓使用者感到噁心。Meta近年來為用於跟蹤眼睛運動、監測使用者之眼球等創新應用技術，已申請一系列的相關專利。以下僅選取二件相關專利，一窺Meta對未來元宇宙的想像。

Meta於2018年12月申請「用於瞳孔轉向之整合擴增實境頭戴式顯示器」(Integrated Augmented Reality Head-Mounted Display for Pupil Steering)專利，並在2021年9月獲准案號為US11,112,613之美國專利（以下稱’613專利），請參考以下圖一。在’613專利的摘要中，描述一種提供AR內容的頭戴式顯示裝置（標號400），包括眼動儀(eye tracker標號408)、投光器(light projector標號402)、光束轉向器(beam steerer標號404)和組合器(combiner標號410)。眼動儀用來確認佩戴者眼睛的瞳孔位置，投光器用來投射光線並渲染圖像的光，光束轉向器根據瞳孔的位置改變投光器之光線的來向，組合器則用來結合來自投光器的光線（標號414-1），以及來自頭戴式顯示裝置外部的一部分光線（標號416）透射組合器後，將兩者不同的光線進行疊加，便可渲染圖像並投影至眼睛內。

圖一

請再參考以下圖二，頭戴式顯示裝置中的眼動儀，被用來判斷並追蹤瞳孔的位置（如標號418-1的箭頭方向所示）。更進一步來說，眼動儀可透過追蹤瞳孔內的影像、閃光偵測、視網膜反射或是瞳孔表面的輪廓量測，以判斷眼球的位置。

Meta所提出的’613專利之優點究竟為何？傳統的頭戴式顯示裝置，在投影影像映入使用者的眼球時，為了提供使用者在所有的注視方向能有更寬廣的視野，所投影出的影像就必須涵蓋在使用者眼睛周圍的大區域上。然而，在大區域上所投射出的影像會導致影像的亮度降低，而為了補償降低的亮度，通常需要高強度的光源，惟高強度的光源裝置不僅佔據大部分的頭戴式顯示裝置的空間，而且還具有高功耗等缺點。相對於傳統的頭戴式顯示裝置，’613專利可透過眼動儀追蹤瞳孔，並將影像朝向瞳孔進行投影，如此一來就可減少影像的投影區域，進而消除高強度光源的需求。

圖二

此外，再參考以下圖三，是’613專利針對眼動儀的功能更進一步地揭露，眼動儀內設有一或多個深度感測器，而這些深度感測器係用來測量深度感測器與眼睛間的距離，例如標號1116-1、1116-2、1116-3分別代表不同的距離，透過這些微小的距離，可建構出眼睛的表面輪廓。更甚者，眼動儀內的深度感測器可以對眼睛做深度掃描，計算出眼睛的表面輪廓，並進而判斷出眼睛注視哪一個方向。舉例來說，若深度感測器測量出距離大於某一個參考距離時，就表示眼睛正往下看；反之，若測量出距離小於某一個參考距離時，就表示眼睛正往上看。簡言之，透過眼動儀內部的深度感測器與眼睛之間的距離，可藉此判斷出使用者眼睛當下正注視哪一個方向。

圖三

另一件關於Meta之追蹤眼球的專利，係於2018年10月申請「瞳孔轉向頭戴式顯示器」(Pupil Steering Head-Mounted Display)發明專利，並在2020年7月獲准案號為US10,712,576B1之美國專利（以下稱’576專利）。請參考圖四，其係為’576專利中的NED近眼顯示裝置(near-eye display)的外觀示意圖，近眼顯示裝置可用來操控AR、VR或MR。此外，顯示元件（標號210）可為LCD顯示面板、LED顯示面板，或其他光學顯示面板（如光波導組合而成的面板）。近眼顯示裝置還包括高解析度的攝影機（標號240），用以捕捉現實世界中物體的影像，並經過處理器處理後的影像，可和虛擬物件一起呈現在使用者眼前。

圖四

’576專利明確指出，對於人工實境系統的使用者體驗，可取決於以下幾個光學特性：視野(field of view, FOV)、影像品質、眼動範圍(eye box)大小、影像顯示之亮度等。一般而言，FOV和眼動範圍應盡可能的大，影像品質要好就是解析度應盡可能的高，影像顯示之亮度也要足夠明亮（尤其是光學透視AR系統），針對’576專利所揭露的技術來看，其欲解決的問題正是眼動範圍。
所謂的眼動範圍，是指近眼顯示系統與眼球之間，有一塊成像最清晰的錐型區域，若使用者的眼球超出該區域，則可能會看到影像扭曲、色彩失真，甚至無法顯示內容的問題。舉例來說，有一種平視顯示器(heads-up display, HUD)應用在飛機駕駛的擋風玻璃上，透過儀表板的反射作用至擋風玻璃上，可顯示飛行高度、瞬時速率、傾斜角度、經緯度位置、油料等資訊，因此駕駛只需要平視眼前的飛行狀況即可，而不用低頭看相關飛行資訊。然而，駕駛的視線一旦轉移過大，則擋風玻璃上的資訊就會部分消失或全部不見。所以，眼動範圍越大，駕駛就可更靈活地移動，但是代價就是可能會導致系統更大、更重、更昂貴且效能更低。在’576專利中也有強調傳統的近眼顯示系統，若要增加人工實境系統的眼動範圍，也將發生前述所提及的缺點，進而有損沈浸式的體驗。
因此，’576專利為改善以上的缺點，特別提出此種近眼顯示系統，如圖五所示，其包含幾個主要光學元件：影像來源（標號1010）、透鏡（標號1020、1040）、偏光鏡（標號1030、1050）以及組合器（標號1060）。影像來源可為LCD顯示面板、LED顯示面板、干涉光源或是空間光調變元件等發光體，而影像來源結合透鏡（標號1020）可形成一種投影裝置以便輸出影像，並且依序經過（如圖中粗黑實線之光學路徑）偏光鏡（標號1030）、透鏡（標號1040）、偏光鏡（標號1050）、組合器（標號1060）後，影像最後經由出光瞳孔（exit pupil標號1070）而映入使用者的眼睛（其位置位在標號1120處）。特別值得一提的是，以上所有的偏光鏡是採用微機電(MEMS)技術予以微縮，故近眼顯示系統得以做到短小輕薄。

本發明技術特色在於，當使用者的眼睛位在標號1120’處時，控制器就會自動地將偏光鏡（標號1030）旋轉某個角度，使得輸出影像可沿著粗黑虛線而抵達使用者的眼睛（其位置位在標號1120’處）。如此一來，透過追蹤使用者的眼睛位置而自動調整輸出影像的光學路徑，不僅可解決眼動範圍過小的問題，而且也不需要笨重的光學系統，針對眼動範圍過小去作任何的補償。(2710字；圖1)

圖五

作者資訊：
陳家駿台灣資訊智慧財產權協會理事長
許正乾 Midas - AI技術與科技專利顧問

參考資料：
Applications of augmented reality in ophthalmology. Biomedical Optics Express, 2021/1/1.
Facebook patents reveal how it intends to cash in on metaverse. Financial Times, 2022/1/18.
What FaceBook’s Patents Reveal About the Metaverse. Founders Legal, 2021/11/22.

相關文章：
1. Meta打造元宇宙中全方位沉浸式專利系列介紹
2. Meta元宇宙中專利系列介紹（一）：頭像化身保真度和個性化專利
3. Meta元宇宙中專利系列介紹(二)：元宇宙之眼–機械仿生眼專利
4. 免電池、無相機的新式眼動儀
5. 蘋果混合實境裝置即將上市，產業將出現蓬勃景象？
6. 蘋果AR眼鏡專利結合手勢控制使用者介面

歡迎來粉絲團按讚！

--------------------------------------------------------------------------------------------------------------------------------------------

Meta元宇宙中專利系列介紹（三）： 人類瞳孔轉向搭配HMD/NED整合AR/VR專利

Meta元宇宙中專利系列介紹（三）：人類瞳孔轉向搭配HMD/NED整合AR/VR專利