定昌&此芯45TOPS AI BOX快速搭建基础环境之——电脑端训练

此芯AI BOX特点之一就是模型转换可以盒子端/主板端进行，AI模型有python推理接口，也有C++推理接口的。比如yolo系列模型，是有python和c++推理接口的。

另外注意AI模型的训练都是要在X86电脑GPU显卡服务器上进行训练的。

1、在X86电脑端安装ubuntu 22.04 lts操作系统（PC端的步骤除了数据集标注之外的，都是必须使用Ubuntu系统的，不能使用windows系统，没有环境就根据文档安装环境，没有单独的开发电脑，就凑齐开发电脑，这个步骤是不能将就的，否则后续的步骤都无法顺利往下进行。）

X86电脑端推荐配置要求：

CPU：intel I5 /E5 等以上。

内存：16GB以上。

显卡:NVIDIA 1080Ti及以上，显卡主要用于并行训练，如不做并行训练，或用CPU做简单的训练，可不要求此项。

硬盘空间：200GB以上。

2、PC端安装Anaconda3环境。

Anaconda3是一个用于数据科学和机器学习的Python发行版，它提供了全面的环境管理和包管理功能，以及集成了大量的科学计算和数据分析工具。

准备好Anaconda3环境

安装Anaconda3，

root@dev:/jwq/ZTL_CIX_Base_AI_SDK/cix_base_env# ./Anaconda3-2024.06-1-Linux-x86_64.sh

#reboot

重启配置好conda
  如果此时在当前命令行找不到conda则执行以下操作，如果可以执行，则不用以下命令：

root@dev:/jwq/ZTL_CIX_Base_AI_SDK/cix_base_env# /root/anaconda3/bin/conda init bash

root@dev:/jwq/ZTL_CIX_Base_AI_SDK/cix_base_env# /root/anaconda3/bin/conda config --set auto_activate_base false

root@dev:/jwq/ZTL_CIX_Base_AI_SDK/cix_base_env# source ~/.bashrc

root@dev:/jwq/ZTL_CIX_Base_AI_SDK/cix_base_env# conda --version

conda 24.5.0

  安装python 3.10版本，建议跟我的版本一样，否则，可能会遇到一些奇怪的问题。

conda create -n cix_noe python=3.10

激活cix_noe 这个环境，

root@dev:/jwq/ZTL_CIX_Base_AI_SDK/cix_base_env#  conda activate cix_noe

此时就进入了cix_noe的python环境了。

2.3下载ai_model_hub开发包的方法

以下是通过 modelscope 命令行，下载ai_model_hub开发包的方法。
仓库地址如下所示：

https://www.modelscope.cn/models/cix/ai_model_hub/tree/master/models/ComputeVision

安装modelscope，

pip3 install modelscope -i https://repo.huaweicloud.com/repository/pypi/simple --trusted-host repo.huaweicloud.com

备注：
ai_model_hub 下载后需要占用大约 70GB多的存储空间，注意硬盘空间大小可以满足。
下载ai_model_hub，

(cix_noe) root@dev:/jwq/ZTL_CIX_Base_AI_SDK/ai_model_hub#  modelscope download --model cix/ai_model_hub --local_dir '/jwq/ZTL_CIX_Base_AI_SDK/ai_model_hub/'

备注：

以上是正常下载后的SDK包，这个包很大，有70GB+，再加上之后模型转换等，因此建议你的硬盘剩余空间120GB以及以上。

若是中途下载失败，则多执行几次，或者换时段来再次执行，这样确保顺利下载下来。

(cix_noe) root@dev:/jwq/ZTL_CIX_Base_AI_SDK/ai_model_hub# ls

安装所需的python环境，

(cix_noe) root@dev:/jwq/ZTL_CIX_Base_AI_SDK/ai_model_hub# pip3 install -r requirements.txt  -i https://pypi.tuna.tsinghua.edu.cn/simple

备注：

当出现一些包版本冲突时，打开requirements.txt，修改为它对应的版本。

因为这个云端的requirements.txt版本经常变化，所以，有时候会产生版本冲突问题，所以，此时要解决库的版本冲突问题。

-i
https://pypi.tuna.tsinghua.edu.cn/simple这个源，我这边用起来是挺顺畅的，如果你用这个源下载出现问题，则可以自行更换其它源。

备注：
  以上是安装好后的信息。

2.4 PC端安装NOE 编译器

  NOE编译器是此芯科技用于编译AI模型应用的编译器。
接下来安装NOE 编译器，

(cix_noe) root@dev:/jwq/ZTL_CIX_Base_AI_SDK/cix_noe/cix_noe_sdk_25_q3_release# ./env_setup.sh

备注：
  安装完成后，执行以下命令，如果能看到版本号说明 NOE 编译器安装成功，此时就可以开始进行AI模型转换了。

  若是出现以上错误信息，则安装确实的python包。

(cix_noe) root@dev:/jwq/ZTL_CIX_Base_AI_SDK/cix_noe/cix_noe_sdk_25_q3_release# pip install pyfma==0.1.6

(cix_noe) root@dev:/jwq/ZTL_CIX_Base_AI_SDK/ai_model_hub# cixbuild –v

  当看到cixbuild编译器正确打印，说明已经安装成功。

2.5 测试模型优化onnxsim工具

(cix_noe) root@dev:/jwq/ZTL_CIX_Base_AI_SDK/ai_model_hub/models/ComputeVision/Image_Classification/onnx_resnet_v1_50# onnx model/resnet50-v1-12.onnx model/resnet50-v1-12-Simplifier.onnx

  可以看到使用 ONNX Simplifier 工具对 ONNX 模型进行简化和优化后的模型resnet50-v1-12-Simplifier.onnx。

a. 命令解析：
a) onnxsim: ONNX Simplifier 的命令行工具
b) model/resnet50-v1-12.onnx: 输入的原始 ONNX 模型文件
c) model/resnet50-v1-12-sim.onnx: 输出的简化后的 ONNX 模型文件

b. onnxsim 主要进行以下优化：
a) 算子融合：将 BatchNormalization 与相邻的 Conv 层融合
b) 常量折叠：预先计算静态常量表达式
c) 冗余节点消除：移除不影响输出的节点
d) 图结构优化：简化计算图拓扑

2.6 安装英伟达显卡驱动

特别说明：
  一些模型转换过程中需要用英伟达显卡进行加速，所以，务必要安装英伟达显卡驱动，否则转换时会非常的慢。

root@dev:/jwq/ZTL_Base_AI_SDK_20250418_1628/rknn_model_base_env# apt install gcc

  可以看到GCC的版本是11.4，而安装显卡驱动需要使用GCC12的版本。

#cd /usr/bin/

# ls -lsh gcc

# ls -lsh g++

# rm gcc

# rm g++

   修改系统GCC的软连接

# ln  -s  gcc-12  gcc

# ln  -s  g++-12  g++

# gcc -v

# apt install make

root@dev:/usr/bin# lspci | grep -i nvidia

  在安装Ubuntu22.04系统时，系统默认使用集显驱动，以保证图形显示。或者，使用的是开源nouveau GPU驱动，这个驱动是不能满足训练要求的，所以，必须先禁用掉。

root@dev:/usr/bin# lspci | grep VGA

  禁用nouveau驱动方法：
在PC端 Ubuntu系统下，
  创建文件/etc/modprobe.d/blacklist-nouveau.conf，添加如下文本：

blacklist nouveau

options nouveau modeset=0

重新生成initramfs

root@dev:/usr/bin# sudo update-initramfs -u

重启生效

#reboot

重启后，
执行查看命令

#lsmod  | grep  nouveau

  就不再看到此驱动了。接下来才可以开始安装英伟达显卡驱动。
  我的GPU显卡型号是TitanX，对应的驱动是NVIDIA-Linux-x86_64-560.35.03.run，可以根据你的显卡型号，在英伟达官网下载对应的驱动版本。
英伟达官网驱动下载地址：

https://www.nvidia.cn/drivers/lookup/

#cd /jwq/ZTL_Base_AI_SDK_20240907_1446/rknn_model_base_env

#./NVIDIA-Linux-x86_64-560.35.03.run

一路选’ok’

1.#./NVIDIA-Linux-x86_64-560.35.03.run

一路选’ok’

安装好后可以用英伟达的工具，查询到显卡的信息

1.#nvidia-smi

安装显卡驱动后重启，此时显示器的HDMI线需要插在显卡的HDMI接口上（不是主板HDMI接口），此时的显示画面就从显卡的HDMI输出。