chanong
革命性商业应用的人工智能占据了所有头条新闻，但真正的短期增长已经发生，无论是在消费设备和物联网领域。这是有原因的。这些应用可能不那么吸引人，但却非常实用：耳塞和助听器中的背景噪音消除、语音控制中的关键字和命令 ID、视觉中的人脸 ID、预测性维护以及健康和健身传感。这些都不需要超人的智能或我们工作和生活方式的革命，但它们却带来了有意义的生产力/易用性改进。同时，它们必须针对毫瓦级功率水平进行设计，并且必须对注重预算的消费者和旨在扩大规模的企业具有吸引力。该领域的产品制造商已经在积极构建和销售适用于广泛应用的产品，现在在tinyML 基金会有一个共同的利益集团（尚未制定标准） 。
要求和机会
围绕 tiny ML 的活动很明显，但值得强调的是，tinyML 小组尚未（目前）为产品如何有资格加入该小组设定严格的界限。然而，根据 Elia Shenberger（CEVA 传感器和音频业务开发高级总监）的说法，一个共同因素是功率，整个设备的功率不到一瓦，ML 功能的功率为毫瓦。另一个共同因素是 ML 性能，高达每秒数百 Gigaops。
这些准则将网络限制为在电池供电设备上运行的小型 ML 模型。Transformers/GenAI 不在范围内。常见用途是用于远程部署且维护频率较低的传感器数据分析，以及用于语音和异常声音检测或视觉唤醒触发器等始终在线的功能。作为积极增长的例子，Raspberry PI（带有 AI/ML）已经在工业应用中非常受欢迎，ST 认为 TinyML 是未来 10 年内 MCU 市场的最大驱动力。
根据 ABI Research 的数据，预计到 2028 年，每年将出货 40 亿块用于 tinyML 设备的推理芯片，复合年增长率为 32%。ABI 还预计，到 2030 年，75% 的推理芯片出货量将在专用 tinyML 硬件上运行，而不是通用 MCU。
实现这一目标的主要因素几乎肯定是成本，包括硬件和软件。如今，常见的实现方式是依靠 MCU 进行控制和特征提取（信号处理），然后依靠 NPU 或加速器来运行 ML 模型。这种方法会产生双倍的专利费，并且肯定会导致更大的芯片面积/成本。它还会增加管理软件、AI 模型和这些内核之间的数据流量的复杂性。相比之下，具有开箱即用 API、库和基于开放模型库的移植模型的单核解决方案将变得越来越有吸引力。
Ceva-NeuPro-Nano
Ceva 已经凭借其 NeuPro-M 系列产品在嵌入式推理领域站稳了脚跟。最近，他们通过添加 NeuPro-Nano 来扩展该系列产品，以满足 tinyML 配置文件的需求。与其他解决方案相比，他们声称具有一些令人印象深刻的统计数据：性能提高了 10 倍，芯片面积减少了 45%，片上内存需求降低了 80%，能耗降低了 3 倍。
该架构允许他们在同一核心内运行控制代码、特征提取和 AI 模型。这减轻了 MCU 的负担，允许构建者使用更小的 MCU，甚至完全放弃该核心（取决于应用程序）。要了解原因，请考虑两个常见的 tinyML 应用程序：从语音中提取唤醒词/命令，以及环境噪声消除。在第一个应用程序中，特征提取消耗了 36% 的处理时间，其余部分用于 AI 模型。在第二个应用程序中，特征提取消耗了 AI 模型 68% 的处理时间。显然，将它们移动到具有专用信号处理和 ML 引擎的通用核心中，其性能将优于在两个核心之间拆分特征提取和 AI 模型的平台。
运行 AI 模型的 NeuPro-Nano 神经引擎具有可扩展性，支持多种 MAC 配置，并通过稀疏性加速和 S 型等非线性类型的激活加速进一步提升 ML 性能。
专有的权重压缩技术无需中间解压缩存储，而是根据需要进行实时解压缩。这大大减少了对片上 SRAM 的需求，从而进一步降低了成本。
电源管理是实现 tinyML 目标的关键要素。巧妙的稀疏性管理可通过零权重最大限度地减少计算量，动态电压和频率缩放（可根据应用进行调整）可显著降低净功率，而权重稀疏性加速还可降低能量/带宽通信开销。
最后，核心设计用于直接与标准推理框架（用于微控制器和μTVM的TensorFlow Lite）协同工作，并提供一个基于开放库的tinyML Model Zoo，涵盖语音、视觉和传感用例，并针对NeuPro-Nano进行了预先训练和优化。
面向未来
还记得 tinyML 是合作组织而非标准委员会吗？最初的目标非常明确；然而，随着应用程序的不断发展，这些目标至少在讨论中还在不断发展。也许功率上限将被推高，也许位宽应该覆盖更广泛的范围以支持设备上的训练，也许应该支持某种程度的 GenAI。
Ceva 已为此做好准备。NeuPro-Nano 已经支持 4 位到 32 位精度以及原生变压器计算。随着 tinyML 目标的改变，NeuPro-Nano 可以随之改变。
