如何簡化嵌入式邊緣 AI 應用開發

如果嵌入式處理器供應商沒有合適的工具和軟體，設計節能的邊緣人工智慧 (AI) 系統同時加快上市時間可能會變得窒礙難行。挑戰包括選擇正確的深度學習模型、訓練和優化模型以實現性能和準確度目標，以及學習用於在嵌入式邊緣處理器上部署模型的專有工具。

從模型選擇到處理器部署，TI 提供免費工具、軟體和服務，協助您完成深度神經網路 (DNN) 開發工作流程的每一個步驟。讓我們逐步選擇模型、隨處訓練您的模型，並無縫部署到 TI 處理器上，完全不需要任何手工製作或手動程式設計，藉以進行軟體加速推論。

步驟 1：選擇模型

邊緣 AI 系統開發的首要任務是選擇正確的 DNN 模型，同時考慮系統的性能、準確度和功率目標。和 GitHub 上的 TI 邊緣 AI 模型庫等工具有助於您加速這個過程。

這個模型庫是 TensorFlow、PyTorch 和 MXNet 框架常用開放原始碼深度學習模型的大型集合。這些模型在公共資料集上進行預先訓練，並經過優化，可在 TI 處理器上有效運作而實現邊緣 AI。TI 會定期使用來自開放原始碼社群的最新模型以及 TI 設計的模型更新模型庫，為您提供最多樣化的性能和精準的優化模型。

藉由模型庫中的數百個模型，TI 模型選擇工具 (如圖 1 所示) 可以協助您快速檢視和比較推論處理量、延遲、準確度和雙倍資料速率頻寬，您完全不需要撰寫任何程式碼。

圖、TI 模型選擇工具

步驟 2：訓練和調整模型

選擇模型後，下一個步驟是訓練或優化模型，藉以在 TI 處理器上實現最佳性能和準確度。我們的軟體架構和開發環境可以讓您在隨處訓練您的模型。

從 TI 模型庫中選擇模型時，訓練腳本可以讓您根據特定任務的自訂資料集快速傳輸和訓練模型，完全不需要從頭開始進行長時間的訓練或手工製作模型。對於您自己的 DNN 模型，訓練腳本、框架擴展和量化感知訓練工具有助於您優化模型。

步驟 3：評估模型性能

在開發邊緣 AI 應用之前，需要在實際軟體上評估模型性能。

使用 TensorFlow Lite、ONNX RunTime 或 TVM 以及 SageMaker Neo with Neo AI DLR 執行階段引擎的最常用業界標準 Python 或 C++ 應用程式設計介面 (API)，只需要幾行程式碼，TI 的彈性軟體架構和開發環境即可讓您隨處訓練您的模型，並且編譯模型再部署到 TI 硬體。在這些業界標準執行階段引擎的後端，我們的 TI 深度學習 (TIDL) 模型編譯和執行階段工具可以讓您為 TI 軟體編譯模型、將編譯後的圖形或子圖形部署到深度學習軟體加速器上，並獲得最佳推論處理器的性能，完全不需要任何手動操作。

在編譯步驟中，訓練後量化工具可以將浮點模型自動轉換為定點模型。這組工具透過配置檔進行層級混合精度量化 (8 位元和 16 位元)，達到調整模型編譯的絕佳彈性，藉以展現最佳性能和準確度。

各種常用模型的操作不盡相同。TI 邊緣 AI 基準測試工具 也位於 GitHub 上，有助於您將 DNN 模型功能與 TI 模型庫中的模型無縫搭配，並做為自訂模型的參考。

有兩種方法可以在 TI 處理器上評估模型性能：TDA4VM 入門套件評估模組 (EVM) 或TI Edge AI Cloud，這是免費的線上服務，支援遠端存取 TDA4VM EVM 評估深度學習推論性能。用於不同任務和執行階段引擎組合的多個範例腳本可以在不到五分鐘的時間內在 TI 軟體上進行加速推論的程式設計、部署和執行，同時收集基準。

步驟 4：開發邊緣 AI 應用

您可以使用開放原始碼 Linux® 和業界標準 API 將模型部署到 TI 軟體上。不過，將您的深度學習模型部署到軟體加速器上只是其中的一部分。

為了協助您快速建構高效率的邊緣 AI 應用，TI 採用 GStreamer 框架。GStreamer 外掛程式可以讓您將計算密集型任務的端對端訊號鏈自動加速到軟體加速器和數位訊號處理核心上。

圖 2 顯示邊緣 AI 的 Processor SDK with Linux 有關的軟體堆疊和元件。

圖、邊緣 AI 的 Processor SDK with Linux 元件

結論
如果您是新手，而且對於我在本文中討論的工具感到惶恐，請放心，即使不是 AI 專家亦可開發和部署 AI 模型或建構 AI 應用。TI Edge AI Academy有助於您在進行測驗的自定進度課堂式環境中學習 AI 基礎知識，並瞭解 AI 系統和軟體程式設計。實驗室提供建構「Hello, World」人工智慧應用的逐步程式碼，而具有攝影機拍攝和顯示的端對端進階應用程式，可供您按照自己的步調成功開發人工智慧應用。(1400字；圖2)
 
其他資源

• 深入瞭解啟用實用嵌入式智慧
• 參閱邊緣 AI 工具的文件