︿
Top

半導體創新正驅動生成式AI成長養分,生成式AI正強化半導體創新力量,兩者互相正向影響

瀏覽次數:1555| 歡迎推文: facebook twitter wechat Linked

科技產業資訊室 - 茋郁 發表於 2024年9月11日
facebook twitter wechat twitter
圖、半導體創新正驅動生成式AI成長養分,生成式AI正強化半導體創新力量,兩者互相正向影響
 
大型科技公司已經花費了數十億美元,並計劃持續對AI進行投資。IDC預測,到2027年,企業在生成式AI上的支出將達到1,511億美元。AI的發展迎來了電腦架構的新黃金時代,推動了對硬體創新的不懈需求,以提高運算能力。

為了訓練AI模型,採用異質運算架構允許CPU和GPU協作移動和處理數據,以因應資料密集過程,因而激發了廠商開發出更多運算能力、增加記憶體容量和提高記憶體頻寬的研發工作。

數兆顆電晶體處理器和數千個運算核心,以極快的速度在記憶體中讀取和寫入大量數據,使這些核心能夠全速運行,因而推出了新型記憶體HBM(高頻寬記憶體)。

高頻寬記憶體(HBM)是一種動態隨機存取記憶體(DRAM),該標準於 2013年首次製定,其中晶片垂直堆疊以節省空間並降低功耗。它們是能夠處理生成式AI的先進記憶體晶片。它是針對AI所使用的GPU的關鍵零組件,有助於處理複雜應用程式產生的大量數據。

全球第二大記憶體晶片製造商SK海力士9月初表示,將於9月底開始量產12層HBM3E晶片,預計從2025年下半年開始出貨HBM4。

除了海力士尋求台積電合作之外,三星電子也決定和台積電合作開發無緩衝 HBM4記憶體。

高速互連(High-speed interconnect)在AI處理中同樣重要,因為大量的訓練工作負載被分配在許多處理器之間並平行運作。當今的異質架構連接了數千個處理單一問題的運算裝置。這些裝置之間需要快速通訊,以最大限度地縮短訓練AI模型的時間。

隨著資料速率的提高和通訊協定的發展以滿足高速通訊的需求,訊號完整性和可靠性面臨挑戰。為了滿足生成式AI的互連頻寬需求,PCI Express等主要互連標準都採用PAM4。PAM4(Four-level pulse amplitude modulation)是一種編碼方案,允許每個時脈週期傳輸四位元資訊,從而允許互連頻寬在這些互連所施加的物理限制內增加。

另外一個創新是確保生成式AI的安全的創新。強大的加密機制,例如AES(Advanced Encryption Standard)和安全金鑰管理實踐,是建構資料機密性的基礎。必須保護資料集免受旨在「毒害」訓練過程並損壞生成式AI模型的資料的影響。同樣,必須保護演算法、方法和模型免遭不必要的存取或盜竊。

總之,要維持生成式AI的快速崛起,就需要半導體技術的進步。如今半導體產業佔據了舞台的中心,將成為未來AI走到多遠的關鍵呢!(999字;圖1)


參考資料:
Semiconductor Innovations Fueling The Growth Of AI 2.0. Forbes, 2024/09/03.
SK Hynix to start mass producing HBM3E 12-layer chips this month. Reuters, 2024/09/04.
TSMC and Samsung co-developing a bufferless HBM4 memory chip, its first partnership in AI. Tweak Town, 2024/09/06.


 

 
歡迎來粉絲團按讚!
--------------------------------------------------------------------------------------------------------------------------------------------
【聲明】
1.科技產業資訊室刊載此文不代表同意其說法或描述,僅為提供更多訊息,也不構成任何投資建議。
2.著作權所有,非經本網站書面授權同意不得將本文以任何形式修改、複製、儲存、傳播或轉載,本中心保留一切法律追訴權利。