【創科廣場】TinyML發掘邊緣數據價值 料將以幾何級數增長

人工智能（AI）快速發展，以往數據產生的邊緣位置，部署AI推理（Inference）作實時決定，一般要以GPU或專用晶片執行，功耗既高又成本昂貴，部署不容易。

 

近年AI邊緣計算興起了「微型機器學習」（TinyML），能夠在低功耗，成本極便宜的微處理器執行推理，預計未來數年，TinyML會以幾何級增長。

 

　　以較確切的定義，TinyML指在功耗一般為毫瓦（mW）計算級別，甚至更低功耗硬件上，能以電池驅動，並可經常在綫的設備上，執行AI數據分析，包括攝像頭、遠程監控、穿戴設備、音頻採集以及不同傳感器。

 

　　目前不少穿戴設備，就是以TinyML辨認各種動作和睡眠狀態，故此TinyML也被稱為「嵌入式機器學習」。

 

ARM加入AI指令

 

　　TinyML突破可從2017年開始，Google推出TensorFlow Lite，目標可在超小的裝置上，執行機器學習模型的推理，只耗用數KB的記憶體。其後再推出了TF-Lite for Microcontroller的TensorFlow Lite的MCU版本，以TF-Lite框架專門用於在MCU上執行。MCU是嵌入在不同設備內的處理器，一般的運算能力和功耗極低。

 

　　起初Google針對ARM處理器Cortex-A系列優化，目前已可在更省電的Cortex-M上作推理，加上ARM處理器設計，也加入針對AI運算計算的指令集（支援浮點FPU和Vector等運算），ARM也不斷加入了支援神經運算和量化多項功能，更將以往在智能手機才有的AI功能，移植至低功耗MCU。

 

　　目前，TinyML可在超低功耗設備，可實現複雜AI推理，而且更可在雲端平台上訓練TinyML模型，過程只要通過手機，或者特定設備採集數據，然後加上標籤，就可上載至雲端訓練，再下載TinyML模型到MCU或Arduino平台上執行。

 

　　2019年7月，TinyML基金會宣布成立，每年均舉辦峰會，以鼓勵業界開發設備工具，今年Edge Impulse獲獎，其工具可支援多個開發板和處理器，甚至以手機採集數據後，上載雲端訓練AI模型，近期推出Codecraft，更只要透過滑鼠拖曳就，就可建立AI訓練和配置模型，進一步降低開發門檻。

 

　　Edge Impulse所以能夠異軍突起，全因其創辦人Zach Shelby曾任職ARM高層，目睹32bit的ARM處理器出現，預見了TinyML巨大商業潛力，成立了Edge Impulse，近年大批運算能力更強的ARM處理器推出，TinyML到達了爆發期，不少應用也水到渠成，進入了商用市場。

 

　　Edge Impulse公布本月29至10月1日，舉辦一連三天的Imagine用戶大會，邀請業界討論嵌入式機器學習發展。

 

　　所謂「嵌入式機器學習」，泛指「嵌入設備系統」內的專用處理器，從可安裝在無人機上的Nvidia Jetson Xavier AGX，以至意法半導體和NXP的MCU，都可算屬於「嵌入式」設備。不過以出貨量計，每年MCU的出貨量以億計，可算是無處不在，幾乎所有物聯網或智能電器，甚至汽車智能化，均靠大量MCU運算。

 

MCU成本極低

 

　　MCU體積極小，功耗低，價格便宜，用途廣泛。以ARM Cortex M0+處理器的MCU為例，比拇指還要小，耗電量僅約1.33mAh（如果以150mA電池可工作112小時）左右，成本僅為5美元。

 

　　以往，MCU的神經網絡，只能作簡單的推理工作，例如感應用戶的動作、或者辨別不同的聲音（例如玻璃碎裂和爆炸聲）、或者是為智能音箱，為特定語句辨別指令，但近期愈來愈多MCU，已經能執行視覺運算，辨別不同物件。

 

　　TinyML基金會亦舉辦了「tinyML Vision Challenge比賽」，鼓勵用戶開發TinyML視覺運算。

 

　　TinyML也建立模型辨別不同的機器震動，甚至以氣體傳感器辨別味道。AI推理可在MCU執行後，最大意義並非降低成本，而是在於以往不少邊緣產生的數據，以傳感器蒐集後，礙於難以處理，可能又缺乏網絡連接而棄掉，TinyML可馬上利用這些數據推理，完全利用邊際數據作判斷，大大提高數據的價值。

 

　　Edge Impulse開發的各種工具，降低從採集、標籤、訓練數據在建立AI模型，各個環節的技術難度，甚至完全毋須編程的經驗，就可建立TinyML機器學習模型，成為近期最炙手可熱的初創。

 

有關Imagine用戶大會詳細，可登入：https︰//www.edgeimpulse.com/imagine。