AI生成可即時編輯的真實3D場景
科技產業資訊室 (iKnow) - 周媛韻 發表於 2022年7月4日
圖、AI生成可即時編輯的真實3D場景
未來，AI模型很快就能在筆記型電腦上讓人們可以即時創建或是編輯近乎真實感的3D場景，有望幫助藝術家在從事遊戲或是電影中電腦產出影像(CGI)的工作，或是創建出超現實的虛擬化身。
過去AI生成逼真的2D圖像已經有一段時間了，但3D的場景因需要更強大運算能力，因此更棘手。加州史丹佛大學的研究人員開發的AI模型─EG3D，可以快速生成高解析度且以幾何圖型結構為基礎的人臉或是其他物體的隨機圖像，並且在筆記型電腦上即時運行。
這是第一批能夠實現接近「照相寫實主義 (photorealism)」渲染品質的3D模型。EG3D透過使用了一種稱為「生成對抗網路(generative adversarial network，GAN)」的機器學習技術來生成圖像。該系統將兩個神經網絡相互對抗，使用了其中一個神經網絡來產生圖像，而另一個神經網絡則用來判斷它們的準確性，並多次重覆這個過程，最終呈現出非常真實的結果。
研究團隊使用現有高解析度的2D GANs的特點，並添加了另一個零件將這些圖像轉換成3D的圖型。一次解決了運計算效率及現有架構向下相容性(backward compatibility)的問題。雖然目前EG3D的模型可以生成近乎照片寫實主義的3D圖像，但較難在設計軟體中進行編輯，且GAN是如何生成逼真的3D圖像還是個謎。
威斯康辛大學麥迪遜分校的研究人員開發了一個稱為GiraffeHD的機器學習模型，該模型提取可以操縱3D圖像的特徵，並提供EG3D模型修正的協助。透過GiraffeHD模型可以控制想像的類型樣式來生成想要的圖像。目前該模型在數百萬個特定類型的圖像上進行訓練，並找出圖像中與各類別對應的隱藏特徵，包含物品的形狀、顏色或是照相機的角度等潛在的因素。
這些可控制的特徵最終可以用於編輯3D生成的圖像，讓使用者可以在想要的場景自行編輯精確的特徵。目前該兩種技術在更廣泛的應用及演算法偏差方面年還有需要加強的問題。該研究發表在Computer Vision and Pattern Recognition研討會。(923字；圖1)
影、 Efficient Geometry-aware 3D Generative Adversarial Networks | CVPR 2022
參考資料：
AI generates photorealistic 3D scenes and lets you edit them as well. New Scientist，2022/6/22
EG3D: EFFICIENT GEOMETRY-AWARE 3D GENERATIVE ADVERSARIAL NETWORKS. CVPR 2022
AI creates photorealistic 3D faces. Youtube，2022/6/22
相關文章：
1. 韓國科學技術院開發出一款生成對抗網路（GAN）處理器
2. 新創公司Zapata藉量子機器學習釋放量子運算的潛力
3. 韓國KAIST開發模仿大腦的神經形態晶片
4. 三星電子倚賴MILA AI實驗室開發AI系統晶片
5. GTC Taipei 2018黃仁勳演講
6. 《MIT科技評論》2018 年全球十大突破性技術
--------------------------------------------------------------------------------------------------------------------------------------------
【聲明】
1.科技產業資訊室刊載此文不代表同意其說法或描述，僅為提供更多訊息，也不構成任何投資建議。
2.著作權所有，非經本網站書面授權同意不得將本文以任何形式修改、複製、儲存、傳播或轉載，本中心保留一切法律追訴權利。
|