RK3576 主板端侧支持10B以下参数级别AI大模型部署

RK3576目前是工业制造、智能家居、边缘计算等AIoT场景主流主板之一，集成6TOPs算力的NPU处理单元，可高效部署端侧主流的10B参数以下大语言模型部署。比如Qwen、Deepseek、Gemma、LLAMA等等，能够开发AI大模型助手，实现翻译、文本总结与智能问答等语言处理功能。定昌RK3576主板出厂可适配主流的Deepseek、文心、通义千问、豆包等主流大模型。

AI大模型支持

RK3576板特别优化支持10B以内端侧高效部署的主流AI大模型，包括语言模型如：DeepSeek-R1-Distill、Qwen3、Qwen2.5-VL-3B-Instruct、Qwen2-VL、Qwen2-VL-2B-Instruct、LLAMA models、TinyLLAMA models、Qwen models、Phi models、ChatGLM3-6B、Gemma2、Gemma3、InternLM2 models、MiniCPM models、TeleChat models、MiniCPM-V-2_6、Janus-Pro-1B、InternVL2-1B。

可以开发出知识问答助手，人机语音互动，直播数字人，服务机器人，AI智能画屏等相关智能硬件产品。

部署注意事项

部署时需要注意一点，板卡内存太小可能会导致大模型无法加载到本地，为了保证大模型运行的流畅性，建议选用8GB及以上内存规格的RK3576主板，如果选用4GB内存的板，一般需要大模型低于3GB的才能加载和使用，而且操作系统本身也需要占用空间，因此更大的大模型只需更换更大的内存版本即可，如果需要加载6GB大小的大模型，则至少需要8GB内存配置的主板。而7B以及以上的大模型内存通常超过8GB，需要16GB内存。

技术支持

定昌可为合作客户提供完整的技术部署服务支持，直到项目落地。提供AI SDK开发板（结构如下图），包括AI大模型移植包SDK、RKNN模型文件、环境搭建工具、模型量化工具、部署参考文档和参考代码等资料，助力板端大模型快速部署开发。

小编总结RK3576板端部署Qwen-1.8B 大模型编译运行的参考示例步骤：

1、RK3576 AI大模型算法推理基础环境搭建

此步骤主要需要将大模型文件拷贝到板端，完整的搭建流程欢迎浏览定昌wiki教程或视频教程，主要使用到Rockchip NPU平台优化的大型语言模型工具包（RKLLM）中的两个工具，包括RKLLM-Toolkit和RKLLM Runtime，RKLLM-Toolkit将原始huggingface格式模型转换为RKLLM格式，RKLLM Runtime库将转化的模型部署到开发板，以及提供API进行模型推理。

2、qwen-1.8B大模型板端编译

此处，在板端运行，构建编译环境

#cd   / jwq
#tar   xvzf   rknn-llm.tar.gz
#cd   /jwq/rknn-llm/rkllm-runtime/examples/rkllm_api_demo

#vi   build-linux.sh   打开这个编译脚本

在板端编译，修改GCC的环境变量为板端系统自带的环境变量。

将build-linux.sh 的GCC环境变量修改为板端系统自带的，修改后如下图：

3、qwen-1.8B大模型板端运行

修改最大可打开文件的数量，每打开一次命令终端下运行都执行一下，否则会打开文件过多溢出。

#ulimit -HSn 10240

临时设置rkllm runtime库路径（在当前终端下有效），或者将librkllmrt.so文件复制到系统库/usr/lib下

#export   LD_LIBRARY_PATH=/jwq/rknn-llm/rkllm-runtime/runtime/Linux/librkllm_api/aarch64/

#cd   /jwq/rknn-llm/rkllm-runtime/examples/rkllm_api_demo/build/build_linux_aarch64_Release

运行大模型测试：

#./llm_demo   /jwq/qwen.rkllm

板端大模型部分加载出错提示：

1、出现以下提示， “Warning: Your rknpu driver version is too low, please upgrade to 0.9.6.”
是因为RK3588 Ubuntu20.04的默认rknpu驱动是0.9.3，可在固件的kernel的rknpu部分换成0.9.6或者更新系统到Ubuntu22.04版本。

2、推理时提示该错误：

上图错误信息是因为rknn-llm这个工程的版本和.rkllm量化时所用的版本不一致导致。也就是.rkllm模型文件，必须是当前rknn-llm这个工程的版本量化转换出来的，而不能用非此版本量化转换出来的模型。

更多详情，欢迎咨询定昌在线客服或致电，竭诚为您服务。