【创科广场】TinyML发掘边缘数据价值 料将以几何级数增长

人工智能（AI）快速发展，以往数据产生的边缘位置，部署AI推理（Inference）作实时决定，一般要以GPU或专用晶片执行，功耗既高又成本昂贵，部署不容易。

 

近年AI边缘计算兴起了「微型机器学习」（TinyML），能够在低功耗，成本极便宜的微处理器执行推理，预计未来数年，TinyML会以几何级增长。

 

　　以较确切的定义，TinyML指在功耗一般为毫瓦（mW）计算级别，甚至更低功耗硬件上，能以电池驱动，并可经常在綫的设备上，执行AI数据分析，包括摄像头、远程监控、穿戴设备、音频采集以及不同传感器。

 

　　目前不少穿戴设备，就是以TinyML辨认各种动作和睡眠状态，故此TinyML也被称为「嵌入式机器学习」。

 

ARM加入AI指令

 

　　TinyML突破可从2017年开始，Google推出TensorFlow Lite，目标可在超小的装置上，执行机器学习模型的推理，只耗用数KB的记忆体。其后再推出了TF-Lite for Microcontroller的TensorFlow Lite的MCU版本，以TF-Lite框架专门用于在MCU上执行。MCU是嵌入在不同设备内的处理器，一般的运算能力和功耗极低。

 

　　起初Google针对ARM处理器Cortex-A系列优化，目前已可在更省电的Cortex-M上作推理，加上ARM处理器设计，也加入针对AI运算计算的指令集（支援浮点FPU和Vector等运算），ARM也不断加入了支援神经运算和量化多项功能，更将以往在智能手机才有的AI功能，移植至低功耗MCU。

 

　　目前，TinyML可在超低功耗设备，可实现复杂AI推理，而且更可在云端平台上训练TinyML模型，过程只要通过手机，或者特定设备采集数据，然后加上标签，就可上载至云端训练，再下载TinyML模型到MCU或Arduino平台上执行。

 

　　2019年7月，TinyML基金会宣布成立，每年均举办峰会，以鼓励业界开发设备工具，今年Edge Impulse获奖，其工具可支援多个开发板和处理器，甚至以手机采集数据后，上载云端训练AI模型，近期推出Codecraft，更只要透过滑鼠拖曳就，就可建立AI训练和配置模型，进一步降低开发门槛。

 

　　Edge Impulse所以能够异军突起，全因其创办人Zach Shelby曾任职ARM高层，目睹32bit的ARM处理器出现，预见了TinyML巨大商业潜力，成立了Edge Impulse，近年大批运算能力更强的ARM处理器推出，TinyML到达了爆发期，不少应用也水到渠成，进入了商用市场。

 

　　Edge Impulse公布本月29至10月1日，举办一连三天的Imagine用户大会，邀请业界讨论嵌入式机器学习发展。

 

　　所谓「嵌入式机器学习」，泛指「嵌入设备系统」内的专用处理器，从可安装在无人机上的Nvidia Jetson Xavier AGX，以至意法半导体和NXP的MCU，都可算属于「嵌入式」设备。不过以出货量计，每年MCU的出货量以亿计，可算是无处不在，几乎所有物联网或智能电器，甚至汽车智能化，均靠大量MCU运算。

 

MCU成本极低

 

　　MCU体积极小，功耗低，价格便宜，用途广泛。以ARM Cortex M0+处理器的MCU为例，比拇指还要小，耗电量仅约1.33mAh（如果以150mA电池可工作112小时）左右，成本仅为5美元。

 

　　以往，MCU的神经网络，只能作简单的推理工作，例如感应用户的动作、或者辨别不同的声音（例如玻璃碎裂和爆炸声）、或者是为智能音箱，为特定语句辨别指令，但近期愈来愈多MCU，已经能执行视觉运算，辨别不同物件。

 

　　TinyML基金会亦举办了「tinyML Vision Challenge比赛」，鼓励用户开发TinyML视觉运算。

 

　　TinyML也建立模型辨别不同的机器震动，甚至以气体传感器辨别味道。AI推理可在MCU执行后，最大意义并非降低成本，而是在于以往不少边缘产生的数据，以传感器蒐集后，碍于难以处理，可能又缺乏网络连接而弃掉，TinyML可马上利用这些数据推理，完全利用边际数据作判断，大大提高数据的价值。

 

　　Edge Impulse开发的各种工具，降低从采集、标签、训练数据在建立AI模型，各个环节的技术难度，甚至完全毋须编程的经验，就可建立TinyML机器学习模型，成为近期最炙手可热的初创。

 

有关Imagine用户大会详细，可登入：https︰//www.edgeimpulse.com/imagine。