生成式AI賦能重塑元宇宙 系列3 生成式AI如何賦能元宇宙
科技產業資訊室(iKnow) - 陳家駿、許正乾 發表於 2024年9月6日
圖、生成式AI賦能重塑元宇宙 系列3 生成式AI如何賦能元宇宙
一、元宇宙中AI賦能之NPC
所謂AI賦能之「非玩家角色」(NPC: non-player characters)，是指虛擬世界中由AI驅動的角色，而非由玩家控制，不過虛擬世界中的NPC與玩家卻可以自由互動。元宇宙本質就是虛擬世界，其所包含的NPC不僅可在虛擬世界中與使用者互動，而且還是具有個人化特性的虛擬角色，元宇宙可透過AI賦能這些NPC表現出更複雜的行為和情感，從而創造出更逼真的沉浸式體驗 [1]。
以下是由AI賦能NPC所帶來的幾個關鍵互動：
- 認知互動：AI賦能不僅可模仿人類行為的化身，還可表現出人類的認知能力，使互動變得更逼真。
- 動態行為：與傳統在腳本中預先程式化(Pre-Programmed)的NPC不同，AI驅動的NPC可根據使用者互動來改變自己的行為和回應，使每次遭遇都獨一無二，超越腳本中預先程式化或已定義好劇情後的回應。
- 學習能力：這些NPC可從與多個使用者的互動中學習，隨著時間推移不斷發展與學習，NPC的回應將變得更加複雜與靈活。
- 情境意識：AI使NPC能理解並回應互動情境，從而有助於實現更有意義、更豐富、更擬真的互動。
AI使NPC在3D空間中，經過自然語言處理與先進的AI模型，得到更逼真和上下文感知的對話。使用者可以用類似於人類溝通的方式與NPC互動，從而創造一個更沉浸式和社交動態的虛擬環境。更有甚者，先進的AI模型可根據互動、語音或面部表情等各種線索，來檢測和解釋使用者的情緒，做出同理心的反應。此外，這些NPC嵌入複雜的決策樹(decision trees)模型，使其能評估各種場景和預定義的規則(predefined rules)、歷史數據和過往與玩家互動中得出多種的學習模式，來確定優先順序與決策。
二、元宇宙中以AI驅動之NLP
（一）AI驅動之NLP功能
NLP是AI的一個分支，而生成式AI的出現，讓自然語言處理(NLP)更加徹底地改變虛擬化身和使用者在元宇宙中的溝通方式。例如，生成式AI聊天機器人能對真實世界使用者的輸入，產生資訊豐富且具有啟發性的回應，模擬真實的對話情境。拜生成式AI之賜，元宇宙中將可實現以下功能：
- 對話流暢：虛擬化身和使用者能生成自然流暢的對話、提出問題、接收個人化資訊，進而讓使用者感覺像是在與真人交流。
- 即時回應：即時分析使用者的輸入並做出回應，確保對話的連貫性和連續性。
- 語言翻譯：即時翻譯多種語言以打破語言障礙，使來自世界各不同地區的使用者無障礙地交流，提升包容性和可造訪性。
- 語音辨識：支援語音控制、導航和互動，讓體驗更加直覺。
（二）增強元宇宙的整體參與度和互動性
更進一步地，這些AI驅動的NLP在元宇宙中，可透過彼此間的對話內容、語氣與情緒交流，分析使用者的偏好與需求，進而在元宇宙中預測使用者的輪廓(profile)並提供相關資訊和體驗。在GPT-4o模型問世之前，AI尚無法理解人類的語氣與情緒等細節，但有時這些細節所隱藏的資訊反而是非常重要的；然而，在GPT-4o模型問世之後，不僅這一切的細節都將被AI計算分析出，甚至還當起數學家教，一步一步地引導使用者解題。
三、元宇宙中生成式AI創造內容
如今隨著如GPT、Claude、Gemini、Llama等生成式AI模型被大量地應用在生活中，幾乎任何人都可使用生成式AI，為社群媒體或網站創造文字、音樂、角色、動畫、圖像、短視頻、應用程式等內容。生成式AI已具備實質創造元宇宙所需的3D空間、地點、物體、動畫和沉浸式體驗等條件，讓客製化線上體驗變得更容易造訪。
元宇宙需要新的內容形式來運作，包括3D環境、動畫、空間設計、聲音和現實互動。許多虛擬世界應用程式，都提供適合藝術設計和設計師的建置和腳本工具，而生成式AI則從文本或2D圖像提示中創造3D虛擬物件，使任何人都能在複雜的3D環境中，創造豐富有趣的體驗。無論是電玩遊戲、社交互動還是教育內容，生成式AI的導入將使元宇宙成為一個不斷變化的空間。
在元宇宙中，使用者越來越頻繁地使用生成式AI生成內容，像是虛擬景觀、建築結構甚至角色等，以往需要透過程式設計或繪圖工具，才能建構高度專業的動態圖像，現在卻只要透過簡單的提示指令來創造，就能優化開發過程並確保虛擬世界的多樣化和動態性，讓使用者能在元宇宙中創造獨特的數位資產。
四、生成式AI賦能元宇宙之虛擬環境
（一）利用AI打造逼真的虛擬環境
元宇宙的魅力在於創造極其逼真的環境，能將元宇宙從靜態數位空間，轉變為反映現實世界複雜性的動態領域。這種轉變透過以下方式實現：
生成式AI可輔助設計複雜的景觀和城市環境，為其注入真實感和深度。
生成式AI的加入能強化與使用者的互動，創造一種生機蓬勃的世界感。
（二）AI驅動的實體、天氣和照明(Physics, Weather and Lighting)
AI能模擬真實世界的天氣模式和燈光效果，調整照明和氛圍(lighting and ambiance)：
- 實體模擬(Physics Simulations)：
AI驅動的實體引擎(physics engines)可模擬真實世界的物理特性，使元宇宙中的互動更直觀和真實。
AI可即時生成隨時間變化的天氣系統，為虛擬世界增添一層不可預測性和現實感。
根據一天中的時間、天氣條件和使用者互動，動態調整或渲染燈光，從而增強元宇宙的視覺保真度(visual fidelity)。
（三）自適應性環境：客製化體驗
生成式AI在元宇宙中最具突破性的應用之一，就是創造「自適應性環境」(Adaptive Environments)，也就是說，會根據使用者偏好和行為進行調整，提供真正的個人化體驗。這種自適應性可用多種形式表現：
根據使用者的興趣和過去的互動而變化的環境，以確保每個使用者都有獨特的體驗。
根據使用者的選擇和操作即時改變敘述，打造引人入勝的個人說故事體驗。
環境的整體外觀和感覺(look and feel)，可依照使用者的喜好修改，無論是寧靜的海灘還是繁華的城市景觀。
五、元宇宙中AI之個人化體驗
在元宇宙中，不論AI或生成式AI都可用來培養創造力，其模型可自主創造逼真的虛擬環境、藝術品、音樂和故事體驗。隨著AI的不斷發展，它將讓使用者在元宇宙中創造性地表達自己、並與同儕共同創造，從而推動藝術創新和文化交流。尤其在元宇宙中，能針對「個人化內容」創造發揮關鍵作用，例如Roblox平台利用AI，來產生根據個人喜好和興趣量身定制的虛擬環境、遊戲和體驗，以提供更符合使用者需求的個性化體驗。
再者，透過AI演算法分析使用者行為和偏好，以在元宇宙中提供個人化的內容和體驗。無論是建議虛擬活動、個人化虛擬空間，還是量身定製的遊戲內(in-game)挑戰，AI都可透過個性化策展來增強使用者參與度。AI能依使用者的偏好和行為動態調整虛擬環境。這種適應包括改變虛擬空間的外觀，或改變虛擬對象的行為以符合個人使用者的口味。總之，AI生成創造力的進步，為元宇宙中的藝術表達，帶來新的潛力和巨大的可能性。
六、元宇宙中AI Ops營運中預測分析
生成式AI除了可創造和生成內容外，還能有效連結、管理和運行虛擬世界之生態系統，例如「IT營運之人工智慧」(AI Ops: AI for IT Operations)，係AI在IT(Information Technology)營運中的應用，以維護IT基礎設施，AI Ops透過提取、分析和應用日益增加的大量資料，運用AI技術進行AI營運中的預測分析(Predictive Analytics In Operations)，來識別元宇宙中的潛在問題並預防其發生。透過分析各種數據，AI Ops能主動應對挑戰，確保系統平穩運作並提升使用者體驗。AI Ops應用的實例，像是APM「應用程式效能管理」(Application Performance Monitoring)，可監視和管理軟體應用程式的效能和可用性。
AI Ops結合大數據分析、機器學習和NLP，對IT營運數據進行多層次應用。其目標是實現IT營運的自動化和智能化，透過模式識別來增強常見流程和任務，並解決各類IT問題。AI Ops更將服務管理、績效管理和自動化相結合，以協助組織實現持續的洞察和改進；並可監控和管理應用程式和硬體系統的性能與可靠性，檢測異常問題、適應負載變化並處理故障，並在不中斷或以最小化的中斷服務的情況下，進行主動快速調整。總之，在元宇宙中，利用AI Ops高效率的基礎設施，使底層基礎架構易於管理和運行，確保無縫連接和高效資源分配，其有助於資料的存儲和傳輸，以及內容的製作和管理。
七、元宇宙中AI賦能的推薦系統
（一）AI改變元宇宙中虛擬商務和廣告
AI演算法驅動的推薦引擎，透過分析使用者偏好、行為模式、場景環境和過去互動，在元宇宙中量身定制提供個人化的推薦和建議。透過AI賦能的推薦系統，無論是虛擬活動、虛擬產品還是虛擬環境進行探索，AI推薦系統都能根據使用者興趣和願望達成客製化，盡可能讓其滿意並提供具吸引力和充實感的體驗。
像Twitch串流平台使用AI推薦系統，根據使用者的觀看偏好和行為向其推薦個人化內容，由AI演算法驅動的增強內容創造和推薦能力，為使用者帶來更豐富的體驗；而Decentraland平台則整合AI驅動的推薦引擎，來增強個人化之購物體驗，並根據使用者偏好推薦相關產品和服務。由AI驅動的虛擬影響向目標受眾推廣品牌和產品，模糊虛擬商務和實體商務之間的界線。
（二）AI驅動之推薦系統的功能
AI驅動的推薦系統，在不斷擴展的虛擬世界中，幫助使用者導航和發現符合其興趣的體驗。這些系統具備以下功能：
- 內容規劃：利用AI演算法生成、管理、過濾並推薦符合使用者偏好的虛擬環境、事件和活動，以支援合成元宇宙中沉浸式體驗。
- 動態自適應性(Dynamic Adaptation)：根據持續的使用者互動和回饋不斷完善建議，AI演算法可根據使用者的行為和偏好調整設定，提供個人化和充實的體驗。並建立根據使用者互動而演變的AI調製設定，透過自適應環境(adaptive environments)[2]進行客製化。
- 社交聯繫：基於共同的興趣和活動，建議社交互動和社區，提供即時關聯、規範性和預測性見解，增強使用者體驗以幫助組織元宇宙。
八、元宇宙中生成式AI之其他賦能
（一）生成式AI創造現實環境
生成式AI在虛擬世界可以產生逼真的景觀、城市和生態系統，增強使用者的整體沉浸式體驗。從表面紋理到光與環境互動的方式，生成式AI有助於創建一個擬真且任由使用者盡情揮灑的數位空間。
（二）AI驅動的虛擬助手
元宇宙中AI驅動的虛擬助手，為使用者提供更自然和互動的體驗。這些虛擬助手可以理解和回應複雜的查詢，並在虛擬空間內提供即時資訊、指導和説明。虛擬助手採用機器學習演算法，透過動態自適應性學習與使用者互動，並預測使用者需求，最後提供個人化建議，以不斷地提高使用者所需要的品質。
（三）AI驅動的社群互動
AI技術促進元宇宙內的社交互動和社群建設，使用者能與志趣相投者聯繫並形成有意義的關係。Rec Room等公司使用AI驅動的配對演算法，將使用者與相容的同伴配對，進行協作活動和遊戲。AI驅動的審核工具，有助於維護安全和包容的虛擬環境，確保所有使用者都能獲得積極和熱情的體驗。
（四）AI驅動的內容審核和安全
確保元宇宙中具有安全可靠的環境，並讓使用者自由互動和分享內容來說至關重要。AI驅動的內容審核工具（例如Two Hat Security開發的工具），使用機器學習演算法來即時偵測和減少有害或不當內容。這些AI驅動的解決方案，有助於保護使用者免受騷擾、仇恨言論和網路霸凌，營造積極支持性的社群氛圍。(4332字；圖1)
參考資料
Metaverse AI: Crafting Tomorrow' s Virtual Realities Today. AutoGPT. 2024/02/20.
The Key Innovations and Trends in the Future of AI in the Metaverse. SearchMyExpert. 2024/01/19.
Metaverse Trends to Look Out For in 2024. Landvault. 2023/12/15.
AI in Metaverse Market Size 2024: Exploring the Impact of AI in Metaverse with Trends and Metaverse Forecasts 2030. IOTBUSSINESS. 2024/04/11.
Metaverse and Generative AI: Envisioning the Future of Human-Computer Interaction. S&P Global. 2023/11/07.
Exploring the Role of Generative AI in the Metaverse. Engage. 2023/12/07.
A New Era Of Business Opportunities: Integrating AI Into Metaverse Development. Landindex. 2024/01/19.
什麼是 AIOps？opentext.
作者資訊：
陳家駿律師 台灣資訊智慧財產權協會理事長
許正乾執行長 因子數據股份有限公司共同創辦人
[1] 透過分析使用者的輸入和偏好，AI可以客製化NPC的反應，為使用者提供個人化的體驗。這種個人化程度增強使用者的參與度，使元宇宙感覺更加動態和互動性。Pogla, supra note 12.
[2] 自適應係多層內神經元處理過程中，給予相同的輸入可能產生不同輸出結果，此取決於當收集更多數據時，從演算法中能學到什麼而定，其不斷自行適應調整優化，故稱為自適應性。
--------------------------------------------------------------------------------------------------------------------------------------------
【聲明】
1.科技產業資訊室刊載此文不代表同意其說法或描述，僅為提供更多訊息，也不構成任何投資建議。
2.著作權所有，非經本網站書面授權同意不得將本文以任何形式修改、複製、儲存、傳播或轉載，本中心保留一切法律追訴權利。
|