Qwen2-1.5B、Phi-3-3.8B、ChatGLM3-6B、Gemma2-2B、InternLM2-1.8B、MiniCPM3-4B、Llama3-8B、Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B、Qwen2-VL-2B、MiniCPM-V-26、DeepSeek-R1-Distill、Qwen2.5-VL-3B-Instruct、Janus-Pro-1B、TeleChat models、MiniCPM models、InternLM2 models、Gemma3、Gemma2、Phi models、TinyLLAMA models

如果要跑更大的模型，可加入RK1828算力模组，采用定昌DC_EN588、DC_M588两款算力板卡，这两款主板上有M.2接口，可以一个大模型跑在一个算力模组上，插2个算力模组就可以跑2个大模型，分别跑在不同的算力模组上。单个算力模组支持跑7B以内大模型。

下面是RK3588,RK1828算力模组跑部分语言大模型的参数性能：

模型类别	模型名称	总参数量	量化方式	RK3588 (8GBSoC)	RK1828 (协处理器5GB)
				峰值内存\|性能	峰值内存\|性能
LLM文本	Qwen3-0.6B	0.6B	W4A16	~1.2GB	~1.1GB
				18-22 token/s	160-210 token/s
LLM文本	Qwen3-1.7B	1.7B	W4A16	~2.6GB	~2.2GB
				10-14 token/s	95-105 token/s
LLM文本	Qwen2.5-3B	3B	W4A16	~4.0GB	~2.4GB
				6-9 token/s	88-102 token/s
LLM文本	Qwen3-4B	4B	W4A16	~4.9GB	~3.4GB
				5-7 token/s	60-70 token/s
LLM文本	Qwen2.5-7B	7B	W4A16	~7.2GB	~4.6GB
				2.8-3.5 token/s	55-70 token/s
LLM文本	Qwen3-7B	7B	W4A16	~7.4GB 2.5-3.2 token/s	~4.8GB
					50-65 token/s
多模态VLM	Qwen3.5-4B-VLM	4B	W4A16(视觉FP16)	~5.6GB	~4.1GB
				4-6 token/s	42-50 token/s
多模态VLM	Qwen3.5-9B-VLM	9B	W4A16(视觉FP16)	OOM(8G板)	~4.9-5.2GB
					30-36 token/s

下面介绍一款6TOPS算力RK3588主板，支持加入算力卡，扩展算力至26TOPS、46TOPS的主板——DC_M588，板载两路PCIE M.2接口，支持加入最多两张算力卡。

关于这款主板的参数详情整理如下:

项目	规格参数（DC_M588）
CPU处理器	RK3588，八核 64 位
NPU	NPU 算力高达 6 TOPS 支持接入RK182X算力卡可最高扩展算力至46 TOPS
内存	4GB/8GB/16GB 64bit LPDDR4x
存储	eMMC 16/32G/64G/128G
显示	HDMI IN：1 个，最大分辨率 4K HDMI OUT：2 个，最大分辨率 8K VGA：1 个，最大分辨率 1080P MIPI DSI：2 个，最大分辨率 4K
音频	耳机座接口：1路麦克风单声道输入，1路音频双声道输出麦克风接口：1路麦克风单声道输入功放接口：左右双声道输出，支持 8Ω 10W 双喇叭
外置存储	最高支持 128GB TF 卡扩展 1×SATA3.0 接口 PCIe3.0×2 扩展（可接入存储或算力卡）
网络	以太网：2个标准 RJ45 接口，10/100/1000M 自适应 WIFI/蓝牙：板载 WIFI/BT 模块，支持 Bluetooth 5.0。移动网络：1个内置 MINI PCI_E 座插槽（3G/4G），可选贴 M.2 插座拓展 5G 模块
基本接口	USB：5个 USB Host USB OTG：1个 Type-C OTG 串口：4路（1路RS485、2路RS232、1路TTL调试口）； CAN接口；GPIO；四个摄像头接口：双 MIPI CSI+Cam1/Cam2 双摄像头接口
系统	Android 12/ Debian 11 / Ubuntu 20.04 / 银河麒麟 V10
电源	外置 DC 12V 输入插座（DC-5.5*2.5MM 母座），建议 12V 2-5A（根据外设功率选择）