在GPU缺貨以及成本過高情況下，許多公司正在用軟體或其他技術來榨取更多AI處理能力

關鍵字：()；()；()；；()；()；

瀏覽次數：8747｜歡迎推文：

科技產業資訊室 - 茋郁發表於 2023年9月11日

圖、在GPU缺貨以及成本過高情況下，許多公司正在用軟體或其他技術來榨取更多AI處理能力

隨著科技巨頭和AI企業搶購為AI提供動力的先進電腦晶片，企業正在尋求新技術，以從可以使用的AI晶片中獲取更多利益。其中，一些公司正在節省AI晶片的使用，或者轉向軟體，協助從可用晶片中榨取更多性能並幫助降低成本。

訓練生成式AI模型需要多達數萬顆GPU。這些GPU大部分是由輝達提供，台積電已經表示，其在一年半內都難以滿足巨大的需求。

IT顧問和外包服務公司Infosys表示，如果從頭開始訓練AI模型，將需要大量的運算能力。即使公司設法找到運算資源，成本也會高得令人望而卻步。全球最大的科技公司和尖端新創公司可能在確保使用這些GPU方面具有優勢，甚至迫使關係密切的新創公司使用其軟體能力來更有效地運用其GPU。

Netskope表示已經建構了100多個AI模型，用於檢測網路安全威脅和幫助提高網路性能等任務。雖然該公司使用自己的GPU訓練這些模型，但其目標是同時訓練多個模型，以有效利用GPU。

另一個稱之為推理AI也需要處理能力，但通常低於訓練AI所需的能力。對於 Netskope的推斷，使用CPU即使功能不如專屬GPU，但更容易獲得。而且他們發現這些CPU通過開源軟體工具進行了調整，也能獲得更高的性能，從而幫助該公司滿足即時模型輸出的處理需求。

數位營運公司PagerDuty正在考慮開源解決方案並運行自己的AI基礎設施。也有其他公司正在轉向第三方軟體，以從自己的GPU中獲得更多性能。例如：Run:ai表示，該公司將其優化軟體直接安裝在客戶的GPU上。該軟體可以自動利用閒置的運算能力，以獲得更好的處理效率，其客戶通常擁有數百到數千個GPU用於AI訓練。

新創公司OctoML表示，它同樣幫助企業從AI硬體中獲得更多性能，在雲端之上提供服務。VMware是一家軟體巨頭，長期專注於企業虛擬化，也致力於幫助客戶管理多個雲端平台或數據中心所使用的AI處理。VMware在8月份宣布更新其與輝達的合作夥伴關係，其聯合客戶將能夠使用數量較少GPU的伺服器。

Gartner表示，可以肯定的是，亞馬遜、微軟和谷歌等雲端提供商也可以透過出租來提供公司所需的處理能力，就像出租電腦伺服器一樣。

總之，在短期一年半至兩年內，由於GPU不易取得，加上過高成本，想要持續發展生成式AI商機，軟體優化GPU運算能力，甚至將閒置GPU有效運用，都能夠以較低成本將AI晶片性能發揮最大，所以為了榨取更多AI能量，這將是不得不的中短期做法。（897個字；圖1）

參考資料：
Companies Look to Squeeze More Power Out of AI Chips. Wall Street Journal, 2023/09/08.

相關文章：
1. 從重點行業產業景氣來看今年國內GDP減緩的趨勢
2. EVG將在SEMICON Taiwan 2023國際半導體展上，凸顯混合接合與奈米壓印微影解決方案
3. 盤點重點國家自建半導體供應鏈之成效
4. 韓國SK海力士開發高效能HBM3E技術，推動AI技術創新
5. 國內半導體者法說會點出下半年景氣不慍不火的現象
6. 中國監管不同意英特爾收購Tower半導體，是美中對抗升級的前兆

歡迎來粉絲團按讚！

--------------------------------------------------------------------------------------------------------------------------------------------