硬體的未來在AI、AI的未來在材料
科技產業資訊室 (iKnow) - May 發表於 2018年3月9日
圖、硬體的未來在於AI、AI的未來在材料
由於，人工智慧(AI)擔負工作與目前大多數電腦的運算工作有些不同。然而，AI隱含著分析預測、推理、直觀的能力與功能。即時是最有創意的機器學習演算法也受到現有機器硬體能力的束縛。因此，若要在AI方面取得長足進步，我們必須在硬體上進行改變，或是半導體材料上進行突破。演變從GPU開始，引入模擬設備(analog devices)，然後演變成為具容錯性量子電腦(fault tolerant quantum computers)。
現在從大規模分佈式深度學習算法應用於圖形處理器（GPU）開始將高速移動的數據，達到最終理解圖像和聲音。DDL演算法對視頻和音頻數據進行訓練，GPU越多表示學習速度越快。目前，IBM創下紀錄：隨著更多GPU加入能提升達到95％效率，就能識別750萬個圖像達到33.8％，使用256個GPU 於64個Minsky電源系統上。
自2009年以來，隨著GPU模型訓練從視頻遊戲圖形加速器轉向深度學習，使分佈式深度學習每年以約2.5倍的速度發展。所以IBM曾於2017年IEEE國際電子設備會議(2017 IEEE International Electron Devices Meeting)針對應用材料發表Semiconductor Futurescapes: New Technologies, New Solutions，談到需要開發哪些技術才能延續這種進步速度並超越GPU？
如何超越GPU
據IBM研究認為，GPU的轉變分為三個階段進行：
- 首先將在短期內利用GPU和傳統的CMOS構建新的加速器以繼續進行；
- 其次將尋找利用低精密度和模擬設備(analog devices)來進一步降低功率和提高性能的方法；
- 然後進入量子計算時代，它可是一個機會，能提供全新的方法。
在CMOS上的加速器還有很多工作要做，因為機器學習模型可以容忍不精確的計算。正因為“學習”模型可以藉由錯誤學習而發揮作用，然而，在銀行交易是無法容忍有一些許的錯誤。預估在精準運算快速的趨勢，到2022年每年以2.5倍在提高。所以，我們還有五年時間來突破模擬設備(analog devices)，將數據移入和移出記憶體以降低深度學習網絡的訓練時間。因此，analog devices尋找可以結合記憶體和運算，對於類神經演算的進展將是非常重要的。
類神經演算如同模擬腦細胞。神經元(neurons) 結構相互連接以低功率訊號突破von-Neumann的來回瓶頸(von-Neumann’s back-and-forth bottleneck)，使這些訊號直接在神經元之間傳遞，以實現更高效的計算。美國空軍研究實驗室正在測試IBM TrueNorth神經突觸系統的64晶片陣列，專為深度神經網絡推理和挖掘信息而設計。該系統使用標準CMOS，但僅消耗10瓦的能量來驅動其6400萬個神經元和160億個突觸。
但相變化記憶體(phase change memory)是下一代記憶體材料，可能是針對深度學習網絡優化的首款模擬器件。
進入量子時代 (quantum)
據IBM公司的研究論文，在Nature Quantum Information中展示了機器學習中量子的優勢證明(“Demonstration of quantum advantage in machine learning”)，展示了只有五個超導量子位處理器，量子運算能夠穩定減少達100倍運算步驟，並且比非量子運算更能容忍干擾的信息。
IBM Q的商業系統現在有20個量子位，並且原型50個量子位設備正在運行。它的平均時間為90μs，也是以前系統的兩倍。但是容錯系統在今天的機器上顯示出明顯的量子優勢(Quantum Supremacy)。同時，試驗新材料（如銅相通的替代品）是關鍵 - IBM及其合作夥伴在IEDM上推出的其他關鍵晶片改進，以推進所有運算平台，從von Neumann到類神經及量子。
解決處理器到儲存器的連接和頻寬瓶頸，將為AI帶來新的儲存器架構，最終可能導致邏輯和儲存器製造過程技術之間的融合。IBM的TrueNorth推理芯片就是這種新架構的一個例子，其中每個神經元都可以存取自己的本地儲存器，並且不需要離線存取儲存器。
藉由訓練和推理形式的AI運算，必須推向邊緣裝置上(edge devices)，例如：手機、智能手錶等。因此，這將興起由計算設備組成的網絡系統。大多數這樣的邊緣裝置會受到功率和成本的限制，所以他們的計算需求可能只能透過高度優化的ASIC來滿足。現在，傳統無晶圓廠半導體公司是否有能力提供這類型的ASIC或是否由AI晶片新創公司例如雲端服務提供商，由誰主導目前還為時過早。
Google正建立50量子比特的量子電腦證明量子優越性
據《News Scientist》科技期刊報導，Google已經成功地模擬9量子比特（9-qubit quantum）量子電腦的量子採樣，目前正在積極打造一個50量子比特的量子電腦，其中主要挑戰在於，隨著量子比特數目的增加，如何能夠保持低錯誤率，這也是量子可擴展性的主要問題。所以谷歌目前正在建立一個量子系統，預計能夠在2017年底前達到至少99.7％的雙量子保真度（two-qubit fidelity）。
結語
未來 AI 時代，將由演算法及軟體來定義AI的硬體。雖然，建構可擴展量子處理器本身是很重要的進步，但是最終可能須拿出實際證明量子優越性，這在目前來看，卻是不易達成的事。量子處理器仍有段路要走。
備註：*馮諾伊曼架構(von Neumann bottleneck)：是一種將程式指令記憶體和資料記憶體合併在一起的電腦設計概念架構，因此也隱約指出將儲存裝置與中央處理器分開的概念。在CPU與記憶體之間的流量(資料傳輸率)與記憶體的容量相比起來相當小，在現代電腦中，流量與CPU的工作效率相比之下非常小。當CPU需要在巨大的資料上執行一些簡單指令時，資料流量就成了整體效率非常嚴重的限制，CPU將會在資料輸入或輸出記憶體時閒置。由於CPU速度遠大於記憶體讀寫速率，因此瓶頸問題越來越嚴重。[註參考資料：馮諾伊曼架構。電子時報，2015 26。] (1526字；圖1)
參考資料：
The future of hardware is AI. IBM, December 6, 2017.
The Future Of AI Is In Materials. Semiconductor Engineering, JANUARY 9TH, 2018.
Google quantum computer test shows breakthrough is within reach. New Scientist, 2017/9/28.
--------------------------------------------------------------------------------------------------------------------------------------------
【聲明】
1.科技產業資訊室刊載此文不代表同意其說法或描述，僅為提供更多訊息，也不構成任何投資建議。
2.著作權所有，非經本網站書面授權同意不得將本文以任何形式修改、複製、儲存、傳播或轉載，本中心保留一切法律追訴權利。
|