采摘机器人RK3588 AI视觉方案板卡-附上开发小经验分享

简单来说上位机采用RK3588主控板，下位机采用STM32运动控制板实现。RK3588负责完成AI视觉，目标检测，3D坐标解算，激光雷达点云，人机交互等功能。STM32负责实现机械臂伺服驱动，电磁阀，IO开关，行走电机，闭环运动控制等功能。

这里定昌小编简要说下RK3588视觉识别加激光雷达的一些做法，完成算法训练，模型量化，边缘硬件部署，果园采摘机器人实际抓取等基本流程。

1、以太网通讯：选择性能最高，客户选择最多的RK3588主控板卡（参考型号：DC_A588），功能上要支持双千兆以太网（其中1路接交换机，另1路接机械旋转3D多线雷达，注意要同一LAN局域网段）。雷达供电由外接工业电源12V供电。

2、必备功能接口：主控板卡最好具备2路MIPICSI（其中1路MIPICSI做主视觉YOLO果园的苹果识别，另1路MIPICSI做双目深度相机并辅助雷达融合或者做底盘环视避障功能，MIPICSI摄像机或工业相机选择800W）。有2路RS485（1路485和STM32下位机通讯，另1路485做IMU惯性模块，环境温湿度识别传感器等）。有1路CAN（对接多轴机械臂伺服）。

注意：2路RS485，1路CAN最好带隔离，没条件实现也得外挂带光耦隔离的RS485,CAN收发模块，并独立隔离电源。

3、其它通讯接口：包括WIFI6模组（可板载），4G/5G物联网通讯模组扩展（MINI PCIE），用于远程管理上传果园的识别数据或上云端存储。

4、软硬件协同：针对瑞芯微NPU硬件特性优化，模型输入尺寸对齐 NPU 硬件带宽、开启混合精度推理、多路摄像头轮询 NPU 调度，进一步提升果园复杂场景帧率。NPU 同时运行苹果检测 + 点云分割双模型，在同一块RK3588主控板上完成二维识别，三维抓取坐标计算等功能。

5、算法训练与部署：直接在PC端完成（省钱PC配置可选择X99 双路主板，至强E5-2600V3/V4双路CPU，显卡选择RTX3060）。

果园图像采集10000张左右图像，分辨率为640X640，必须包含白天，傍晚，阴天等多光照样本图片，并做好数据标注，标签仅一类 apple。

PC端安装ubuntu 22.04lts操作系统，以及Anaconda3，能快速完成模型简化，INT8量化，仿真推理，其它开发工具还包括有：Python3.8，PyTorch，CUDA，图像处理，模型转换依赖库，YOLOV7、ONNX 模型导出与RKNN量化，后续再做RK3588板端/边缘端的ubuntu嵌入式部署。

6、RT实时补丁：可选PREEMPT_RT补丁，可大幅减少CAN,RS485总线通信的抖动，打完补丁也方便后续项目增加EtherCAT伺服，IMU高频采集等功能。

上述训练，部署过程，定昌电子出厂均提供了完整的开发流程与教程，并提供DEMO源码参考，开发者可快速了解及入门AI机器视觉的算法模型开发，并二次开发。

更多详情，欢迎致电或加我们客服进一步了解，竭诚为你服务。