邊緣AI將是未來消費和企業應用主流之一，長期將發展出混合AI模式

關鍵字：()；()；()；()；()；；()

瀏覽次數：1626｜歡迎推文：

科技產業資訊室 - 茋郁發表於 2024年7月16日

圖、邊緣AI將是未來消費和企業應用主流之一，長期將發展出混合AI模式

用於個人和工作裝置的AI並不是一個新概念，然而，絕大多數應用程式都在雲端運行。雖然使用雲端對於資源容量和儲存來說非常有用，但以雲端為中心的AI模式卻面臨著高延遲和網路擁塞等技術挑戰。因此，許多基於雲端的AI應用程式的用戶體驗達不到客戶的期望。

為了解決這些技術挑戰，智慧型手機製造商開始在高階裝置中嵌入AI加速器，以支援本地AI推理。然而，裝置上AI應用主要局限於語音控制、AI強化影像和其他「注重體驗」的應用。釋放裝置上AI的價值需要使用壓縮的生成式AI模型開發針對特定用例客製化的廣泛生產力AI應用程式。

ABI Research認為，裝置上AI的價值包含：改善網路延遲、節省成本、支援未來的AI功能、增強數據安全性、以及AI模型個人化等好處。

ABI Research也指出，這幾年無論是PC或者是智慧型手機的升級週期都變慢了。如果能夠透過裝置上AI和注重生產力的AI應用程式的結合，可以刺激消費者對智慧型手機和平板電腦的需求。

如果裝置製造商透過這些裝置上AI應用程式展示出可衡量的成本和時間節省投資回報率，消費者將被激勵更頻繁地升級他們的裝置。無論是自動安排家庭聚會節省的時間，還是優化能源使用節省的公用事業成本，消費者都將有新的理由購買更新的智慧型手機型號。更重要的是，生產力AI應用程式可能會幫助藝術家或製作人將創意變為現實。高通和三星最近合作支援 Galaxy S24 系列的行動AI功能，這就是市場軌跡的縮影。

雖然智慧型手機和 PC佔據了企業裝置上 AI 討論的大部分議題，但同樣的優勢也適用於汽車、XR和物聯網 /穿戴式裝置領域。事實上，延遲的降低增強了車載數位助理的功能，數據隱私可以保護醫療保健患者或製造商的敏感數據，同時消除雲端運算成本。
最近的一波趨勢已成為支援裝置上AI不可或缺的一部分。異構晶片組(Heterogeneous chipset)，例如用於PC的高通 Snapdragon X Elite，將GPU、CPU和神經處理器(NPU) 整合到單一系統單晶片中。這使得AI工作負載運行更加有效率，並提高了應用程式的效能。

高通確認將於2024年秋天宣布Snapdragon SoC的下一步，並將基於與其筆記型電腦產品Snapdragon X Elite相同的Oryon核心的行動解決方案。

不過，ABI Research預計市場將逐漸採用「混合AI(Hybrid AI)」方法。透過混合AI架構，AI工作負載將駐留在邊緣、雲端或裝置上，其採用何種AI工作負載取決於商業和技術優先順序。例如：對數據超級敏感的應用程式可能會在雲端進行模型訓練，而推理和微調這些模型（利用用戶資料）則在裝置上進行，以確保最大程度的隱私。透過採用混合AI方法，用戶可以分配功耗、減少記憶體瓶頸並最大化性價比達到最佳使用體驗。（1032字；圖1）

參考資料：
Why on-device AI Is the future of consumer and enterprise applications. Computer Weekly, 2024/06/28.

歡迎來粉絲團按讚！

--------------------------------------------------------------------------------------------------------------------------------------------