AI的Scaling Law能否持續下去，關係著未來AI產業的興衰啊！
科技產業資訊室(iKnow) - 茋郁 發表於 2024年12月3日
圖、AI的Scaling Law能否持續下去，關係著未來AI產業的興衰啊！
對矽谷來說，進入AI時代，摩爾定律已經被一個新概念取代，即是AI的「Scaling Law」。這意味著廠商必須將更多的數據放入更大的AI模型中，再透過更多的運算能力，尋找到更智慧的系統。這種洞察力為AI的進步帶來了火箭般的推動，將開發的重點從解決棘手的科學問題轉變為建構更大的晶片集群。
簡言之，隨著ChatGPT的推出，Scaling Law開始嶄露頭角。在接下來的兩年裡，AI系統的快速進步似乎表明，這條法則一直很有效，直到十年內達到某種“超級智慧(super intelligence)”為止。
然而，在過去的一個月裡，科技產業界的傳言愈來愈響亮，因為OpenAI、谷歌和Anthropic等公司的最新模型並未顯示出符合Scaling Law預測的預期改進。
可是OpenAI的Sam Altman於2024年11月在X上發文表示AI發展沒有碰壁。Anthropic的執行長Dario Amodei和輝達的執行長黃仁勳也對AI進展放緩的報道提出了異議。
對科技業來說，這是一個價值數兆美元的問題。如果久經考驗的AI模型訓練方法帶來的回報遞減，它可能會破壞前所未有的投資週期的核心，即投入新創公司、產品和資料中心資金將縮減，甚至重新啟動閒置的核電廠的計劃也將延遲。
研究人員指出了公司在AI開發的早期階段（稱為預訓練）可能遇到的兩個關鍵障礙。首先是獲得運算能力，其次是訓練資料。輝達和其他公司正在克服AI晶片產出的限制，這幾年後將逐步解決。至於訓練資料，其涉及使用大量資料訓練LLM，這些資料通常從網路上抓取，然後由GPU進行處理。然後，該資訊被分解為“標記”，這些“標記”構成了模型處理資料的基本單位。
雖然年復一年地向模型投入更多的資料和GPU可以可靠地產生更智慧的模型，但公司已經耗盡了網路上公開可用的資料供應。研究公司Epoch AI預測，到2028年，可用的文字資料可能會被榨乾。
當然，Scaling Law從來都不是鐵律。儘管如此，Scaling Law的假說仍加劇“對錯過下一次重大科技轉型的恐懼”，導致大型科技公司對AI進行了前所未有的投資。摩根士丹利表示，微軟、Meta、亞馬遜和谷歌的資本支出於2024年將超過2000億美元，2025年將超過3000億美元。
不過，大多數企業仍在尋找AI的殺手級應用程式，尤其是在需要ChatGPT o1推理能力的領域。在AI擴張的投機階段，輝達成為世界上最有價值的公司。可是Scaling Law的論點突顯了其未來仍取決於大型科技公司從這些巨額投資中獲得實際的回報。一旦過了一年被產業界發現，AI的確面臨難以短期突破的高牆，這時候輝達甚至台積電，甚至整個AI產業將面臨的困境，將是難以估計的損失啊！(1111字；圖1)
參考資料：
--------------------------------------------------------------------------------------------------------------------------------------------
【聲明】
1.科技產業資訊室刊載此文不代表同意其說法或描述，僅為提供更多訊息，也不構成任何投資建議。
2.著作權所有，非經本網站書面授權同意不得將本文以任何形式修改、複製、儲存、傳播或轉載，本中心保留一切法律追訴權利。
|