您的位置 首页 > AI技术

Neardi产品RKNN模型转换与推理:端侧AI应用的高效实现

Neardi临滴科技的硬件产品,通过集成 RKNN 工具链,支持从模型转换到部署的全流程,使得开发者能够快速地将先进的深度学习模型转换为适用于 RKNN 的格式,并在其产品上实现快速、准确的推理,从而推动 AI 应用在端侧设备上的广泛部署和实际应用。

Neardi产品RKNN模型转换与推理:端侧AI应用的高效实现

Neardi

企业级开源硬件平台

1

PC端RKNN Toolkit开发环境搭建

操作系统要求:确保你的操作系统是 RKNN Toolkit 支持的 Linux 发行版,如 Ubuntu 18.04/20.04/22.04。

Python 环境:安装 Python 3.6 或以上版本。可以使用系统自带的 Python,或者使用 Anaconda 或 Miniconda 创建虚拟环境。

安装依赖:安装 RKNN Toolkit 前需要安装一些基础依赖,例如 python3-dev, python3-pip, gcc 等,以及 Python 库 numpy 等。

下载 RKNN Toolkit:可以从 Rockchip 官方链接下载 RKNN Toolkit,或者使用 SDK 中的 /external/rknn-toolkit 目录。

安装 RKNN Toolkit:使用 pip3 安装下载的 RKNN Toolkit 包。可能需要选择与系统 Python 版本相匹配的 wheel 文件进行安装。

文档阅读:安装完成后,阅读 doc 目录下的文档,了解具体的使用方法和示例。

RKNN Toolkit Lite2:这是一个为 Rockchip NPU 提供 Python 编程接口的工具,用于在板端部署 RKNN 模型。

rknpu2:提供 C 语言编程接口,用于在 Rockchip NPU 平台上部署 RKNN 模型。

环境测试:安装完成后,可以通过运行 RKNN Toolkit 中的例子来测试环境是否搭建成功。

版本升级:如果需要,可以通过 pip3 或 apt 命令升级 RKNN Toolkit Lite2 或 rknpu2 到最新版本。

rknn-toolkit2 — TB-RK3588x 0.1 文档

2

在RK3588设备上搭建rknn-toolkit-lite2环境

系统准备:确保 RK3588 设备上安装了 Ubuntu 20.04 或其他兼容的 Linux 发行版。

安装 Anaconda3:由于 RK3588 是基于 ARM 架构的,需要下载适用于 ARM64 架构的 Anaconda3 安装包,并在 RK3588 上完成安装。

配置 Python 环境:使用 Anaconda3 创建一个新的 Python 虚拟环境,并激活该环境,确保 Python 版本与 rknn-toolkit-lite2 支持的版本一致(例如 Python 3.7 或 3.9)。

安装 RKNN-Toolkit-Lite2:根据 RK3588 上的 Python 版本,选择相应的 .whl 安装包进行安装。使用 pip3 命令安装 rknn-toolkit-lite2。

安装依赖库:安装 OpenCV 等其他必要的依赖库,这些库可能在模型推理时使用。

获取 RKNN-Toolkit2:下载 RKNN-Toolkit2 套件,它包括了在 PC 上模拟 NPU 环境进行模型转换、推理和性能测试的工具。

安装 RKNPU2:RKNPU2 提供了访问 Rockchip NPU 的动态链接库和 C 头文件,根据 RK3588 的系统架构下载相应的版本,并将其放置在正确的系统路径下。

测试环境:使用 RKNN-Toolkit-Lite2 内提供的示例代码进行测试,确保环境搭建成功并且模型可以正常推理。

运行 rknn_server:在开发板上运行 rknn_server,以支持联板调试。

模型部署和推理:将转换好的 RKNN 模型文件传输到 RK3588 设备上,并使用 RKNN-Toolkit-Lite2 的 API 进行模型加载和推理测试。

Neardi

临滴产品

临滴科技提供的解决方案支持Android/Linux等操作系统,具备丰富的接口和模块功能,满足工业控制和物联网领域的多样化应用需求。依托瑞芯微SoC技术平台,结合自身在硬件设计和软件开发的专业能力,为客户提供从核心模块到完整解决方案的全方位服务,推动智能硬件产品和技术的持续创新。



本站涵盖的内容、图片、视频等数据,部分未能与原作者取得联系。若涉及版权问题,请及时通知我们并提供相关证明材料,我们将及时予以删除!谢谢大家的理解与支持!

Copyright © 2023