RK3588支持哪些主流大模型部署运行？RKLLM量化方案

定昌电子基于瑞芯微旗舰芯片工业级RK3588J和商业级RK3588 自主研发了多款AI主板，集6TOPS算力NPU、AI场景算法支持与开放AI大模型生态一体，是多模态模型端侧高效部署的理想平台。满足了AI视觉计算多场景的运算需求，同时凭借强大的异构计算架构，支持10B左右参数规格的主流大语言模型（文心、Deepseek、通义千问等）部署，比如Qwen-1_8B、Gamma-2B、DeepSeek-R1-Distill等。

强大的硬件配置

RK3588采用了4核Cortex-A76@2.4GHz + 4核Cortex-A55@1.8GHz的八核CPU架构，并集成6TOPS算力的NPU（神经网络处理单元）。CPU+GPU+NPU的异构设计，在运行AI推理任务时，NPU能够独立承担大量计算，降低CPU占用率大幅降低，提升计算能效。

定昌的RK3588 AI主板支持16GB LPDDR5内存与256GB存储的配置，为大模型参数和运行时数据提供了宽阔的空间。丰富的接口，如双千兆网、WiFi6、多路MIPI-CSI、HDMI输出等，在智慧工地、校园、车间、工厂等场景的AI视觉应用、智能安防、工业质检、边缘网关等场景中能够灵活接入多种传感器，目前定昌有两款比较热门的AI算力主板，出厂均支持部署主流大模型和算法。

上图：DC_A588 RK3588多功能扩展通用AI算力主板

上图：DC_AI588S,RK3588S AI应用开发专用主板

RKLLM量化工具链部署方案

定昌RK3588主板的核心优势在于其对AI语言大模型生态的优化支持。瑞芯微官方在互动平台提出过RK3588的NPU能够支持端侧主流的3B以下参数级别的模型部署。一般来说，RK3588跑的大模型，不宜高于8B，如果是需要较快的、实时响应的大模型，可考虑0.5B左右的。而通过业界成熟的RKLLM等工具链进行量化与优化后，该平台实际可高效运行更多主流模型。

推荐采用瑞芯微官方推出的RKLLM量化部署工具链，能将Hugging Face或GGUF格式的模型，转换为适配RK NPU的RKLLM格式模型。通过此方案，模型推理主要在6TOPS的NPU上执行，能效比极高。部署流程包括在PC端进行模型转换与量化，然后将生成的.rkllm模型文件与运行时环境部署到定昌主板上即可运行。

大模型生态支持

1. 基于RKLLM等部署方案的主流语言模型支持

定昌的RK3588平台已验证并可高效支持以下热门语言大模型：

DeepSeek系列：特别是经过蒸馏的轻量版本，如 DeepSeek-R1-Distill等

Qwen系列：支持 Qwen2.5-1.5B-Instruct、Qwen2.5-3B等。

其他轻量级模型：同样支持 TinyLlama（1.1B）、Phi-3（3.8B）、ChatGLM3-6B、InternLM2、Gemma2/3 等国内外优秀模型，满足大量端侧交互与分析需求。

2. 视觉与多模态模型部署
兼容常见的视觉（CV）和语音等算法模型部署：全面支持YOLOv5/v7/v8/v10、YOLO-World、RT-DETR、PPOCRv4等目标检测、分割、OCR模型，并可利用NPU获得数十倍的能效提升。包括：yolov10,yolov8,yolove_seg,yolov8_obb,yolov8_pose,yolov7,v6,v5、yolov5_seg,yolo_world,yolox,whisper,PPOCR_V4,Chip，Ppyoloe,ppseg,retinaface,LPRNet,deeplabv3,Lite_transformer,Yamnet,Resnet,Mobilenet。

应用场景

面向工控AIOT,IPC,边缘计算网关,机器学习,人脸识别,流媒体rtsp推流，智慧工地，AI安全生产监控视觉分析，车牌OCR识别，语音识别模型，平安校园，AI巡检，智慧交通等AI算法应用开发相关产品，定昌AI工程师全程指导开发落地。定昌日光AI开发工具SDK、及开发实例源代码，技术API文档等等AI资料，帮助客户快速上手进行二次开发。