生成式AI賦能重塑元宇宙 系列4 重塑AI工業/醫療等各元宇宙
科技產業資訊室(iKnow) - 陳家駿、許正乾 發表於 2024年9月6日
圖、生成式AI賦能重塑元宇宙 系列4 重塑AI工業/醫療等各元宇宙
元宇宙作為一種新的空間運算媒介(spatial computing medium)，利用其來打破實體數位落差的應用程式將出現，在不斷被擴大定義和過度期望，尤其是不當炒作下，元宇宙近來已不復風光，但其背後技術的價值從未受到質疑。而在海水退潮後，正好可以來檢視其真正之落地應用。儘管元宇宙通常是一個包羅萬象的數位世界，但其至少可分為三個不同的部分：「工業元宇宙」(industrial metaverse)、「企業元宇宙」(enterprise Metaverse)和「消費者元宇宙」(consumer metaverse)。這些行業的發展尚不確定，許多分析都預測工業元宇宙及其支援技術，將在未來十年內快速成長，本文特別注重其中被視為是極重要之「工業元宇宙」和「醫療元宇宙」。
一、AI重塑元宇宙具體應用 -- 工業元宇宙
（一）AI工業元宇宙意涵
工業元宇宙，就是在數位世界中用電腦或AI技術來模擬真實的機器、工廠、建築物和城市、電網和交通網絡等複雜的系統。透過雲端和邊緣運算、工業應用AI和數位孿生(digital twins)等技術的結合。工業元宇宙提供完全沉浸、即時互動、持續和即時同步的環境，塑造出超越模擬的未來。這將是一個始終在線上且持久的世界，人們可以跨越距離障礙，與全球的人員和資產互動合作，從而實現全新的協作。
AI和機器學習正融入至工業元宇宙的應用中，其觸角已延伸到工業設計、生產、訓練、客戶服務、預測性維護等領域，甚至透過數位孿生技術來改變工業應用。具體而言，在實體建造之前，先以3D數位形式模擬現實世界的研發、製造、生產等許多複雜的流程，透過實體的虛擬版本和即時數據分析來增強決策效果，從而提升生產效率、節省時間、金錢和資源。
工業元宇宙有望推動下一次工業革命，預計到2030年，工業元宇宙將成為全球一千億美元的市場，其對五大主要行業如工業製造、汽車、城市與城市基礎設施、能源和醫療保健，在工業價值鏈中創造和實現，是影響最大的領域，分析顯示，汽車、能源、軟體和平台以及航太和國防，目前在工業元宇宙投資和活動方面處於領先 [1]。
（二）以生成式AI為焦點之新空間媒介
工業元宇宙透過數位孿生技術推動工業革命的下一階段，是工業元宇宙的關鍵基礎建構(crucial building block)，並結合三個迅速發展的領域，即空間運算、AI、Web 3與區塊鏈。數位孿生技術可模擬真實世界的實體，透過AI和量子計算的結合，能夠高效且快速精確地模擬複雜情景。
工業元宇宙專注於利用數位資訊和生成式AI來優化人員、實物商品、生產資產、場所、流程、供應鏈、操作、現場服務和設備以及工業環境之間的互動，生成式AI工具將顛覆數位勞動，創造更高效的工作流程。總之，AI和元宇宙實際上是這數位進化中的合作夥伴，特別是拜生成式AI陸續在各領域中被普及應用所賜，生成式AI可望將成為工業元宇宙及整個元宇宙的核心基礎建構。
（三）工業元宇宙實際運作
在數位孿生技術被提出後，工業元宇宙已不僅是一個概念，而是在真實世界中對應之實際運作。例如，亞馬遜機器人(Amazon Robotics)透過NVIDIA Omniverse平台建立倉庫的數位孿生來展示，並運行模擬優化倉庫設計、訓練智能機器人助手，並更佳地配置人類和機器人工作站；賓士(Mercedes-Benz)則透過數據洞察來賦能其工廠職員，從一線工人、製程工程師到工廠經理推動流程創新，其同時使用NVIDIA Omniverse平台設計和規劃製造裝配設施，來進一步數位化其生產流程。還有多家公司如百事可樂、特斯拉和BMW，正使用AI基礎設施，為工廠和供應鏈的數位孿生進行數據的採集與聚合，這些數據可用以訓練AI模型，有助加速數據驅動的決策、分析和性能改進，並提供預測性維護。
核電也是一個有潛力的例子。由於安全問題和成本考慮，許多核能發電實驗已經停滯，但如果能用數位孿生模擬這些實驗，就可減少一些環保憂慮，進而推動核電技術的進步，這將有助於改善當前能源和氣候危機等問題。同樣的，如一家工廠想要模擬工廠中的災難性設備故障，來演練疏散程序，也一樣能做到。
二、AI醫療元宇宙(AI Medical Metaverse)
在虛擬世界中，使用者不受典型的自然規則（如年齡、性別、外表和物種）的限制，還能擺脫時間和空間等拘束，因此可從事現實生活中不可能進行的各種活動。元宇宙為醫學創新開啟新視野，醫學教育和醫療保健正利用其改善病患照護，而心臟病、胃腸病、婦科、腫瘤學、眼科和放射學等也正採用虛擬實境，心理健康也受益於元宇宙創新，特別是XR技術（VR、AR和MR）。此外，生成式AI可幫助新藥的設計、開發和安全評估，這些技術具有分析化學公式和分子演算法(molecular algorithms)的潛力，促進新生化化合物和配方的開發，從而導致新藥的發現。
（一）元宇宙醫療化身與聊天機器人
元宇宙提供從家中進行醫療諮詢的服務，在醫療服務中可能解決特定問題而無地理限制，此係透過建構醫療用聊天機器人，由AI驅動方案組成，幫患者和醫療提供者更易於互相連接，捕捉患者的數據並基於系列問題與答案，協助識別不同種類的疾病，還能提供自我診斷來傳播醫療資訊，但必須具同理心。隨著AI技術的擴展，這些擬人化的技術不斷改進，相對於聊天機器人化身而言，擬人化的互動可能更受患者歡迎。此外，透過生成式AI、LLM和自動化技術相結合，可能創造一個逼真能回答醫療或健康問題的聊天機器人或化身。
（二）元宇宙醫療設備與生成式AI應用
隨著生成式AI技術的快速進步，元宇宙與生成式AI的融合正在改變醫療器材和醫療保健領域，開啟了一個創新、高效率和病患照護的新時代。以下是一些深具影響力的應用例子，展示這種協同作用如何重塑產業。
1. 虛擬研發實驗室
醫療設備製造商可利用元宇宙建立一個虛擬的研發實驗室，借助生成式AI的力量，模擬真實情況並測試設備的原型。這可加快產品的開發過程，並且由於沒有地理限制，團隊可即時協作以加速創新和決策。實體原型和測試設備通常需大量的費用，而虛擬實驗室則有助於降低成本。再者，使用生成式AI模擬各種情況，可識別潛在問題並改善設備，最終確保提供更安全和有效的醫療解決方案。
2. 提升外科手術訓練
生成式AI與元宇宙的融合，改變了外科訓練領域，提供沉浸式手術訓練模擬，重新定義外科醫生的準備過程，並提高病患護理品質。傳統外科訓練存在實作機會有限和高風險情況等局限性，而生成式AI和元宇宙提供的解決方案，讓外科醫生能在無風險的虛擬環境中練習手術，以提升技能並消除傳統訓練的風險，同時將失誤和對病患的潛在傷害降至最低，提供標準化的高品質訓練。
3. 醫療設備建模
生成式AI使醫療保健提供者利用即時數據，分析並預測趨勢、異常和潛在問題。例如透過穿戴式設備持續監測病患的生命體徵，檢測異常情況並及時發出警報。元宇宙在遠端病患監測方面提供安全的虛擬環境，保護病患資料並讓醫療保健提供者即時存取數據。虛擬空間可模仿醫院病房，整合醫療設備模型，使醫療保健提供者能如同現場監控一樣，提升護理品質和效率。此外，元宇宙中醫療設備建模，透過創造醫療設備的虛擬複製可模擬預測耗損情況，以便提前安排維護或更換，確保設備可靠性，減少停機時間並降低醫療成本，改善病患護理。
4. AI驅動的設備客製化
在元宇宙中，醫療設備的客製化超越了物理環境的限制。病患和醫療提供者可在虛擬環境中深入了解設備需求。生成式AI處理大量病患數據並模擬設備調整，確保客製化過程精確。量身定制的醫療設備，可符合每位病患的獨特解剖結構和健康狀況，增強設備舒適度，優化功能，顯著提高病患滿意度。這種方法簡化客製化過程，減少錯誤，確保每個設備完全適合其預定使用者。
5. 生成式AI創造現實場景提升診斷和手術技能
醫療設備、醫療保健、元宇宙和生成式AI的融合帶來許多好處。在醫療保健領域，元宇宙成為遠距諮詢和病患教育的動態平台。病患可造訪虛擬醫療環境，生成式AI簡化行政任務，使醫療專業人士能專注於病患護理。此外，元宇宙為醫療從業者提供創新訓練和模擬機會，生成式AI有助於創造現實的病患場景，提升診斷和手術技能；而生成式AI驅動的醫療影像得改善診斷準確性，促進早期疾病檢測和個人化治療計劃。這些技術的結合增強診斷能力，開創醫療保健創新和以病患為中心的護理新時代。
（三）精神病學和臨床神經系統疾病中的AI
另一方面，醫學元宇宙融合AI新興技術，正改變如神經精神病學和臨床神經科學領域。AI整合到臨床應用中，用於疾病的快速檢測、疾病管理以及身體和神經系統疾病的治療，例如機器學習或深度學習可識別各種疾病和腦部疾病（如帕金森氏症和阿茲海默症）相關病理切片和大腦圖像的特定模式。然而，在一般心理健康領域的技術使用，僅限於腦部影像和其他常規診斷篩檢工具（如血液檢查和尿液分析）。更進一步地，機器學習或深度學習可對創傷性腦損傷或其他神經系統疾病的患者，進行電腦斷層掃描而得到更清晰的解釋。
機器學習或深度學習也已被整合到運動神經元疾病的診斷、預後(prognosis)和監測中，並納入中樞神經系統內運動神經元排除功能性障礙。LLM分析大數據集的能力，有助於識別癲癇患者的相關臨床證據，例如患者亞群、癲癇發作模式和其他治療參數，LLM可幫助識別癲癇切除手術的早期候選者。這些分析可緩解手術延誤或程序不足等問題，從而改善患者的治療結果並挽救生命。
LLM也可能對神經退化性疾病的早期發現和治療產生重要影響。傳統的診斷工具（病患病史、腦部掃描等），不足以預測哪些符合輕度認知障礙標準的人，最終會患上阿茲海默症。AI技術可檢查全面的多模式臨床資料集，包括認知測試結果和神經病理學資料集，以產生改進的神經退化性疾病預測模型。再者，NLP演算法可分析例如社群媒體平台上的貼文，以識別與自殘風險增加相關的模式和脆弱情緒狀態，從而預防自殺。
（四）AI醫療保健和健康產業
醫療保健和健康產業正採用AI技術，在元宇宙中提供虛擬醫療服務和健康體驗。由AI支援的虛擬健康平台讓使用者能諮詢醫療保健專業人員、存取遠距醫療服務，並遠端監控自己的健康狀況。AI驅動的健康應用程式和體驗，提供個人化的健身、營養計劃和心理健康支持。總的來說，生成式AI可成為醫學教育和實踐以及其他臨床應用中的支持性工具，但AI模型只能作為輔助工具，而非用來取代醫生和其他醫療專業人員。
三、AI重塑元宇宙其他具體態樣
（一）企業元宇宙
企業元宇宙支援跨距離的協作工作和團隊建設，並提供用於產品和服務演示的虛擬展廳。在這個領域，虛擬土地、商品、藝術品和配件可出租、購買和出售。企業元宇宙虛擬化遠距工作參與、學習、溝通和協作，形成了新的工作方式。員工可以在即時沉浸式環境中與其他人一起練習和應用技能，而不是普通的教學影片。這適用於從員工入職期間學習文化和核心價值到在更安全的虛擬空間中練習複雜、高風險和危險場景的一切。企業元宇宙旨在幫助組織加速運營、提升協作和簡化日常流程，從更廣泛的企業角度來看，元宇宙也將從根本上改變企業運營的方式，影響人才吸引、學習和協作方法，以及跨功能進行交易和流程的方式，這些都是工業部門需考慮的影響。
（二）消費者元宇宙
消費者元宇宙可豐富個人精神世界，是一個虛擬或混合實境的數位材料環境，用於與其他人和數位物件進行社交互動，以參與、玩耍、工作和探索。消費者元宇宙主要關注個人的社交、娛樂和教育體驗，憑藉沉浸式的圖像、聲音和其他感覺，為互聯網提供一種地方感，即沉浸式的身份和數位資產。再者，利用互動式產品發布、沉浸式設定和代幣化體驗等功能，開啟提高品牌參與度、購買體驗和顧客忠誠度的新途徑。面向消費者的元宇宙應用程式、價值途徑以及產業參與者如何透過傳統和全新的商業模式實現虛擬世界的經濟之機會。
（三）娛樂元宇宙
娛樂和媒體產業正在利用生成式AI，在元宇宙中創造沉浸式且引人入勝的體驗。AI驅動的內容創建工具，使創作者能有效率地製作高品質的虛擬音樂會、活動和表演，增強元宇宙內的娛樂選擇。元宇宙使用區塊鏈生態系統，創建一個平台來交易商品和服務。隨著虛擬房地產、數位藝術和電子商務市場的日益普及，這些去中心化的交易平台正在增加。邊玩邊賺遊戲(play-to-earn games)在元宇宙中也越來越受歡迎，為遊戲市場創造更大的空間。生成式AI的應用不僅限於視覺效果，一些服務提供者利用LLM來創造非玩家角色(NPC)或聊天機器人，並結合角色描述和動機，對提示指令作出回應。在遊戲或社交應用程式中，這種類型的虛擬化身可能會談論任何特定領域的最新消息。
遊戲和電子競技產業處於元宇宙中AI創新的最前沿，提供沉浸式的遊戲體驗和競爭性電子競技錦標賽。AI為虛擬世界、遊戲機制和NPC提供支持，增強玩家的遊戲體驗和沈浸感。AI驅動的配對演算法可確保電競賽事的公平和平衡競爭，從而推動元宇宙內的參與度和觀眾人數。總結來說，娛樂元宇宙和消費者元宇宙一樣，主要仍是藉由生成式AI驅動之虛實合一的世界。
（四）政府元宇宙
提供數位化公共服務，讓使用者在實體和虛擬存取之間進行選擇。它可將現有服務數位化或引入新的純數位服務，從而提高公共部門的效率。韓國投資約1.7億美元，計劃使首都首爾成為進入元宇宙的「第一個主要城市」，讓其公民能獲得城市的經濟、文化、旅遊、教育和市政服務。巴巴多斯(Barbados)則計劃在Decentraland 中，推出世界上第一個元宇宙大使館，該政府還與其他虛擬宇宙平台簽協定，購買土地、建立虛擬領事館和大使館、提供電子簽證，並建立一個遠端傳送器(teleporter)，讓使用者在各個元宇宙之間傳輸其化身。
（五）AI教育訓練元宇宙
生成式AI正創造元宇宙中擬真的學習環境，為沉浸式學習體驗和技能發展提供新的機會。在教育元宇宙應用程式中，它可使學生與歷史上的人物聊天，與其談論過去事件的經歷。由生成式AI支援的虛擬教室和訓練環境，使教育和訓練人員能以互動和個人化的方式與學習者互動。生成式AI驅動的輔導系統，可提供個人化回饋和自適應學習體驗，迎合元宇宙中的個人學習風格和偏好，舉例來說，醫學教育導入生成式AI至元宇宙，不僅可模擬複雜的手術過程，還可讓醫藥學生在無風險的環境中實習，提高實踐技能。此外，生成式AI還可分析學生在虛擬環境中的互動數據，以分析學習成效、困難點與擅長之處，進而提供個人化回饋和自適應學習體驗，達到「因材施教」之目的。
（六）AI房地產元宇宙
生成式AI可以透過生成虛擬建築、室內設計和城市規劃模型，重塑房地產產業。此外，使用者可利用生成式AI創造個性化的虛擬空間，並和使用者互動，藉此讓使用者在元宇宙中即時看到其設計改動如何影響空間，並帶來身歷其境的感受，打破傳統的房地產依賴網路幾張不同視角的靜態照片，或需要使用者親自到場看實體物件的展示方式。此外，針對元宇宙中的房地產，虛擬平台上將數位房地產，整合電子商務開創出新商機，讓使用者能在虛擬環境中購買、出售和租賃數位財產。並透過AI驅動模擬實體市場經濟的分析工具，提供房地產開發商和投資者對虛擬房地產市場趨勢、定價動態、和投資機會與決策，推動虛擬房地產市場的成長和創新。
四、小結 生成式AI與元宇宙交叉挑戰
目前為止，生成式AI聊天機器人有時難免會表現出AI幻覺 [2]，也就是說，根據使用者輸入的提示指令，提供無意義、不確實、不準確或誤導性的資訊。雖然其回覆可能看起來正確，但內容可能是虛假或對使用者無益、甚至有害。這是因為在訓練AI的過程中，可能包含一些偏見或不正確的素材，也可能是訓練資料的偏差，或是模型本身在演算時受限於概率分佈等問題，以致於產生不當的資訊，凡此均猶待克服。
再者，隨著元宇宙在AI支持下不斷發展，帶來一系列必須解決之安全風險和道德問題的挑戰：保護資料隱私和資訊安全議題。特別是因為元宇宙將涉及收集和處理（包括透過AI）個人資訊和敏感數據（包括動力學、生理、大腦活動和其他健康資料），這些資訊如果沒有得到適當的保護，可能會被惡意利用。以目前對於AI應用在個人隱私保護的技術發展來看，如用聯邦學習(federated learning) [3]、差分隱私(differential privacy) [4]等AI技術來分析數據，可能保護個人使用者資訊。此外，AI也有可能被操縱、創造、誤導或有害等不當內容，為了解決AI演算法與不當的惡意提示指令注入(prompt injection)所帶來的偏見、歧視和公平性(algorithmic bias and fairness)問題，以防止元宇宙社會中不平等現象的長期存在，其應優先考慮公平代表性和包容性，以確保元宇宙中的AI技術，不會無意中被邊緣化或歧視。(6697字；圖1)
參考資料
Navigating the Industrial Metaverse: A Blueprint for Future Innovations. World Economy Forum. 2024/03/12.
AI in Metaverse Market Size 2024: Exploring the Impact of AI in Metaverse with Trends and Metaverse Forecasts 2030. IOTBUSSINESS. 2024/04/11.
The Metaverse: Innovations and generative AI. International Journal of Innovation Studies. 2024/04/12.
Metaverse Trends to Look Out For in 2024. Landvault. 2023/12/15.
Metaverse in 2024. Dig Watch. 2024.
The Industrial Metaverse Siemens.
The Key Innovations and Trends in the Future of AI in the Metaverse. SearchMyExpert. 2024/01/19.
Metaverse and Generative AI: Envisioning the Future of Human-Computer Interaction. S&P Global. 2023/11/07.
The Medical Metaverse, Introduction, Definitions, and New Horizons for Neuropsychiatry. Psychiatry. 2023/01/12.
Artificial Intelligence Algorithms and Large Language Models in Psychiatry and Clinical Neurosciences. Psychiatry. 2023/10/16.
Applying Generative AI in Healthcare in the Era of the Metaverse. Linkedin. 2024/03/13.
Leveraging Generative AI in the Metaverse: Medical Devices. Linkedin. 2023/09/28.
What are AI hallucinations? IBM.
作者資訊：
陳家駿律師 台灣資訊智慧財產權協會理事長
許正乾執行長 因子數據股份有限公司共同創辦人
[1] 像赫爾辛基，推出一個城市環境的3D數位孿生體(Helsinki 3D)，目的是進行模擬、可視化和分析以進行城市規劃。工業元宇宙解決方案帶來的資源效率提升有助於增強企業競爭力，同時持續推動可持續性、韌性、減碳和去物質化目標的實現。
[2] AI幻覺(hallucinations)是一種現象。一般來說，使用者對AI工具提出問題時，希望得到正確答案，但有時卻輸出無意義或不準確的答案。AI幻覺的發生原因有很多，包括過度擬合(overfitting)、訓練資料的偏差、不正確的資料輸入，以及模型複雜性。
[3] 聯邦學習是一種機器學習技術，讓多個用戶端裝置或伺服器在不共享資料的情況下，透過本地端的數據樣本進行訓練，然後再透過儲存於雲端的共享模型來更新資料，藉此達到隱私保護與資料安全等目的。
[4] 差分隱私是一種資料共享技術，在分享數據集資訊的同時，透過添加一些隨機雜訊到資料中，以模糊正在被分析的資訊，藉此理解個人資訊同時又兼顧保護個人隱私。這意味著研究人員可分析敏感的個人病例資料時，卻又無法將這些病例資料與其相關的病人聯繫在一起。
--------------------------------------------------------------------------------------------------------------------------------------------
【聲明】
1.科技產業資訊室刊載此文不代表同意其說法或描述，僅為提供更多訊息，也不構成任何投資建議。
2.著作權所有，非經本網站書面授權同意不得將本文以任何形式修改、複製、儲存、傳播或轉載，本中心保留一切法律追訴權利。
|