[Linux]从零开始的泰山派运行yolov8教程
一、前言
泰山派买回来已经快一年了，感觉之前都只是将泰山派配置好，并且可以远程。然后就没管了。最近因为做一些东西需要用到yolo并且需要yolo在本地快速推理。我第一个想到的就是使用瑞星微的RK处理器的NPU进行加速推理，刚好，我的泰山派不就搭载了一个NPU吗？并且还有高达1TOPs的算力，想着用来推理yolo应该不是问题。但是一做才发现，这一切，并不简单，虽然在这方面有教程，但是教程实在是太少了，并且讲的都不是很详细，并且大部分还要去修改yolo的底层库啥啥啥的。后面摸索了比较久，找到了一篇勉强能用的教程再结合官方文档，总算是成功了。那么本次教程，就来教大家如何使用泰山派运行yolov8，如果你准备好了，那就让我们开始吧！
二、谁适合本次教程
在本次教程中，融合了Linux，YOLO，Python的知识，并且要将这三者高度结合。所以，本次教程已经不是给小白的了。在阅读这篇教程并且跟着操作之前请确保自己有Linux，YOLO，Python的基础，并且也需要自己有一定解决问题的能力，比如能够自己解决安装python库时出现的报错，虚拟机不能ADB时能够自行搜索解决办法等等。本次教程中，我们会安装两套不同python环境以及一套C语言编译编译环境，请确保自己有安装这些环境的能力。本次教程虽然是针对泰山派的，但是理论上对RK3566及以上的开发板都通用。
三、资料的准备
由于本次教程涉及到的开源项目就有三个，所以我就为大家整理了一下本次教程中可能会用到的资料。资料中包含了本次教程需要用到的开源项目以及一些必要的软件，文档等。当然，如果你想自己下载，可以直接跳过资料准备这一步，每当我用到这些资料时，我都会给出出处：
泰山派运行YOLO资料：https://pan.baidu.com/s/1g5CQxvgFcv-7LPJubajLJQ?pwd=clxm 提取码: clxm
四、整体流程
在本篇教程中，整体流程如下，首先教大家如何使用瑞芯微的yolov8进行模型训练，以及如何转换为onnx格式，然后搭建RKNN Model Zoo环境将onnx格式的模型转换为rknn格式。然后使用RKNN Model Zoo通过adb运行yolov8的python demo进行测试，测试完成以后，使用C编译器将其编译然后将二进制文件发送到泰山派进行运行。这里我首先就会讲模型训练，如果你不想训练模型，可以直接跳过第五步，后面我会讲如何使用官方demo模型进行测试。当然，如果你对整套流程不是特别熟悉的话，是不推荐跳过任何步骤的。现在，让我们开始吧！
五、yolov8模型的训练
在开始之前，我们首先需要训练一个yolo模型，这里训练模型我们已经不能使用官方的"ultralytics"来进行了，而是使用瑞芯微魔改过的“ultralytics_yolov8”来进行。瑞芯微在“ultralytics_yolov8”加入了RKNN组件，可以将模型输出为ONNX时使用RKNN组件进行预处理。以便后面将模型转换为RKNN格式，目前我是这么理解的。
1.ultralytics_yolov8项目获取
如果大家下载了我给的资料，这个项目被我放在了资料目录下的“GitHub”目录下：
打开后，就能看到项目文件了，这里的文件和官方的基本无异：
这里我们还可以直接从Github下载，链接如下：
ultralytics_yolov8： ONNX > CoreML > TFLite">GitHub - airockchip/ultralytics_yolov8: NEW - YOLOv8 🚀 in PyTorch > ONNX > CoreML > TFLite
打开后项目如下：
这里大家一定要看清发布者，一定是这个发布者发布的yolo才行，虽然整个项目看起来和官方的yolo无异，但是的确已经在底层进行过处理了：
当我们获取到项目以后，就可以进行下一步了。这里再次强调，一定要使用我给的项目或者是在github中这个被指定作者的yolo项目，不然后面模型转换时肯定会报错的。
2.环境的安装
在下面，我们会使用到虚拟环境来运行以及训练yolo，这里虚拟环境我们采用的是conda，同样的，大家需要确保自己已经安装好了conda的环境，conda的安装与基本使用在以前的教程也讲过，本文不会细讲，大家可以参考下面的文章：
miniconda的安装：[python]我们应该如何安装Miniconda虚拟环境？（详细）_miniconda创建虚拟环境-CSDN博客
yolo的运行依赖pytorch，所以也会涉及到pytorch的安装，在之前的文章中同样也讲过，本文也不会细讲，如果想了解详细的步骤请看下面的文章：
pytorch的安装：[python]如何正确的安装pytorch?(详细)_pytorch安装-CSDN博客
这里我们需要安装yolo本身运行所需的环境，还要安装模型转换时所需的环境。yolo的安装教程在之前也写过了，本文不会讲得很详细，如果想要知道详细得安装过程可以看下面的文章：
yolo安装教程：[AI]小白向的YOLO安装教程-CSDN博客
注意这里的顺序，是先安装conda，再安装pytorch最后安装yolo的运行环境。当然，来到这里的小伙伴多少都是熟悉yolo的，这里就步多说了。如果你对yolo的理解还不够的话，建议先看我上面给出的教程，理解了上面的内容以后，你才知道后面我在做什么。
这里首先我们启动conda的终端然后使用下面的命令来创建一个yolo的环境：
conda create --name rk-yolo python=3.8这里虚拟环境的名字叫rk-yolo也是为了和原本的yolo环境进行区分。注意，这里我使用的python3.8大家就尽量和我一样，不要动。
当我们创建完成环境以后，使用下面的命令进入虚拟环境
conda activate rk-yolo这里同样的pytorch我们单独拿出来安装，这里就说一点注意的，这里大家可以看到我的CUDA版本为12.8：
我的CUDA驱动也安装到了12.8：
建议大家像我这样，CUDA是向下兼容的。这样也可以避免一些怪问题的出现。
当然，使用CPU运行的小伙伴无视上面的内容。这里大家就使用我给出的命令来安装pytorch，当然，同样分为GPU和CPU两个版本，如果是GPU的小伙伴请确保你的CUDA版本支持到11.8及以上：
GPU pytorch：
pip install torch==2.0.0 torchvision==0.15.1 torchaudio==2.0.1 -f https://mirrors.aliyun.com/pytorch-wheels/cu118CPU pytorch：
pip install torch==2.0.0 torchvision==0.15.1 torchaudio==2.0.1这里GPU的torch已经更换到阿里源，理论上是比较快的。安装完成以后，使用“pip list”查看如图所示：
pytorch安装好以后，我们准备安装剩余的yolo所需的依赖，我们这里使用终端切换到刚刚准备好的yolo项目目录：
我们直接在yolo的项目目录中使用下面的命令来安装相关依赖：
pip install -e .安装好以后，我们同样使用“pip list”来查看一下：
可以看到，这里的yolo已经安装完成并且已经指向我们的项目目录了。
到目前为止，yolo运行所需的基本依赖就已经安装完成了，我们还需要安装模型转换时所需的依赖，这里我整理了一份requirement.txt，如果你下载了我给的资料，它直接就被放在了“ultralytics_yolov8”文件夹中，如图所示：
如果你没有下载我的资料，可以在yolo的项目目录中直接新建一个“requirement.txt”文件，然后将下方的内容复制到“requirement.txt”文件中：
absl-py==2.1.0
asttokens==3.0.0
backcall==0.2.0
cachetools==5.5.2
certifi==2022.12.7
charset-normalizer==2.1.1
colorama==0.4.6
contourpy==1.1.1
cycler==0.12.1
decorator==5.2.1
executing==2.2.0
filelock==3.16.1
fonttools==4.56.0
google-auth==2.38.0
google-auth-oauthlib==1.0.0
grpcio==1.70.0
idna==3.4
importlib_metadata==8.5.0
importlib_resources==6.4.5
ipython==8.12.3
jedi==0.19.2
Jinja2==3.1.6
kiwisolver==1.4.7
Markdown==3.7
MarkupSafe==2.1.5
matplotlib==3.7.5
matplotlib-inline==0.1.7
mpmath==1.3.0
networkx==3.1
numpy==1.24.1
oauthlib==3.2.2
onnx==1.17.0
opencv-python==4.11.0.86
packaging==24.2
pandas==2.0.3
parso==0.8.4
pickleshare==0.7.5
pillow==10.2.0
prompt_toolkit==3.0.50
protobuf==5.29.3
psutil==7.0.0
pure_eval==0.2.3
py-cpuinfo==9.0.0
pyasn1==0.6.1
pyasn1_modules==0.4.1
Pygments==2.19.1
pyparsing==3.1.4
python-dateutil==2.9.0.post0
pytz==2025.1
PyYAML==6.0.2
requests==2.28.1
requests-oauthlib==2.0.0
rsa==4.9
scipy==1.10.1
seaborn==0.13.2
six==1.17.0
stack-data==0.6.3
sympy==1.13.3
tensorboard==2.14.0
tensorboard-data-server==0.7.2
thop==0.1.1.post2209072238
tqdm==4.67.1
traitlets==5.14.3
typing_extensions==4.12.2
tzdata==2025.1
ultralytics-thop==2.0.14
urllib3==1.26.13
wcwidth==0.2.13
Werkzeug==3.0.6
zipp==3.20.2这里我们在项目目录中，使用下方的命令安装模型转换所需的依赖：
pip install -r ./requirement.txt这里我们可以看到，安装了非常多的库：
这里我们模型转换所需的依赖也已经安装好了，这里请确保你的虚拟环境中所有的依赖都已经正确安装。
3.模型的训练
这里在模型训练部分，官方的yolo与瑞芯微魔改的yolo方法都是一样的。所以只要你会训练官方的yolov8那么这里的训练也不是什么问题。关于yolo的模型训练在之前的帖子已经详细的讲过了，这里不会细讲，并且只演示步骤，如果你想了解详细的yolov8的训练流程，请看下面的这篇文章：
yolov8训练：[AI]YOLO如何训练对象检测模型（详细）_yolo模型训练-CSDN博客
现在让我们开始吧，如果你下载了我的资料包，我已经准备好了一个直接可以训练的包，被放在资料目录下的“GitHub”目录下：
如果你没有下载我的资料，也可以使用自己的数据集，怎么制作数据集以及如何训练在上面的“yolov8训练”教程中已经讲得很清楚了。不管怎么样，只要能把模型训练出来就行。
这里我们直接将这个“datasets”的目录复制到“ultralytics_yolov8”目录中，如图所示：
这里我们进入这个名为“datasets”的文件夹，可以看到以下文件和文件夹，这里都是我准备好的，可以直接开始训练：
这里需要注意，如果你使用的是CPU，需要将“train.py”中的“device”改为“‘cpu’”如下图所示：
使用GPU的小伙伴就保持0不动即可。
如果你之前安装过yolo，那么如果现在训练的话，大概率会失败，因为之前的yolo已经将原本的datasets文件夹的路径写入配置文件了，这里如果我们再训练，yolo就会去原来的地方找文件，找不到文件就会报错，这里我们需要修改一下配置文件。我们来到“C:Users用户名AppDataRoamingUltralytics”目录下，可以看到以下文件：
这里我们打开“settings.json”文件可以看到以下内容：
这里我们将“datasets_dir”的内容改为我们当前yolo的datasets的路径，注意这里的路径要写到datasets目录为止，不要写错了，以及要使用双“”：
修改完以后，保存即可。
下面我们就可以开始训练了，这里我们进入“datasets”目录，然后在虚拟环境中，使用下面的命令，这里因为是测试，建议大家少训练几步，我这里就只训练一步：
python . rain.py
命令执行以后，训练就开始了：
这里我们等待训练完成即可。
训练完成以后，我们可以看到，我们训练的内容被输出到了下面的目录：
我们来到这个目录后，就能看到以下文件了：
我们再进入“weights”目录就能看到我们训练出来的文件了：
这里我的模型有“best.pt”表示最好的，还有一个“last.pt”表示最后的，这里我们一般都使用这个最好的模型，也就是“best.pt”。
大家可能会好奇，我的模型文件为什么有图标，不着急，这个马上说。这个图标是一个查看模型层的工具，名为“Netron”。现在我们需要用到这个工具来查看我们训练出模型的层。如果你下载了我的资料，这个工具被放放在了资料目录下的“软件”文件夹下：
这里大家也可以前往Netron的开源网页进行下载：
Netron：lutzroeder/netron: Visualizer for neural network, deep learning and machine learning models
这里直接就是一个exe文件，比较简单，就不演示安装了。Netron安装以后，我们的pt模型就变成它的图标了，这也表示这个文件可以使用它来打开，这里我们直接将模型托入Netron：
这里我们可以看到，pt模型的激活函数为“SiLU”，我们需要将其改为“ReLU”。
好，现在我们开始改，我们去到yolo项目文件夹下的“ultralytics nmodules”文件夹下就可以看到下面的文件和文件夹了：
这里我们打开名为“conv.py”的文件：
找到“default_act = nn.SiLU()”这一行代码，在39行左右：
我们将其注释掉，并且在下方添加这样一句：
default_act = nn.ReLU() 修改完以后，如图所示：
修改完以后，保存文件，我们再次训练模型：
训练完成以后，我们再次将模型放入Netron中，就可以发现pt文件的激活函数就已经变成了ReLU：
4.模型格式转换
这里我们需要对模型进行格式转换，这里我们是把pt格式的模型的格式转换为onnx格式，并且利用rknn组件对这个onnx模型进行一些初始化。我们进入训练所得到的模型目录：
在这个文件夹中，新建一个名为“conversion.py”的文件，并且写入下面的内容：
from ultralytics import YOLO
model = YOLO('best.pt')
results = model.export(format='rknn')这里一定要将这个脚本放在训练好的模型的路径下，不然会找不到文件，我们直接在虚拟环境中运行这个脚本即可：
没有错误就是转换已经完成了，如果报错，看看报错内容，是不是缺少什么库，或者说没有找到文件之类的。运行完成以后脚本的目录下，就会生成了一个onnx的模型：
后面我们就要将这个onnx的模型转换为rknn格式，这也是后面要做的事了。至少目前，我们将模型训练完了，并且已经得到了onnx模型。
六、onnx到rknn模型转换及官方Demo运行
当我们得到onnx模型以后，我们就可以准备将其转换为rknn模型了。这里的教程，我们先使用官方的模型进行转换测试，确保环境没有问题，然后再转换自己的模型。这里我们需要结合官方的文档，如果你下载了我的资料，官方文档被放在资料目录下的“文档”目录下：
如果你想从开源主页下载文档，那么可以前往：
文档：rknn-toolkit2/doc/01_Rockchip_RKNPU_Quick_Start_RKNN_SDK_V1.6.0_CN.pdf at master · rockchip-linux/rknn-toolkit2
打开以后，直接就能看到文档了：
我最开始也是跟着文档配的，所以后面的教程也和文档差距不大，大家可以结合我的教程和文档进行配置。 现在让我们开始吧！
1.虚拟机的安装及环境配置
因为这两个开源项目都只能再Linux中运行，所以，我们这里需要安装一个虚拟机并且运行Linux然后再运行上面的项目。虚拟机软件的安装以及在虚拟机中运行Linux的教程在以前的教程中已经为讲过了，这里不会细讲，如果你想了解详细步骤，请看下面的教程：
VM的安装以及Linux的运行：[Linux]如何在虚拟机安装Ubuntu?（小白向）_虚拟机 ubuntu-CSDN博客
在官方的文档中，告诉我们运行上面的项目，可以使用Ubuntu18.04 / Ubuntu20.04 / Ubuntu22.04这几个Ubuntu版本，这里我就使用Ubuntu22.04进行演示，也建议大家的系统和我一样，因为镜像太大了，这里就不放资料中了，大家自行下载吧，只要下载的系统和我一样就行。
这里我就默认大家已经在VM中安装好Ubuntu了，也就是下面这种状态：
这里我采用使用SSH远程虚拟机的方式，所以直接使用下面的命令安装SSH服务：
sudo apt install openssh-server再按使用下面的命令安装一个能够查看IP的工具：
sudo apt install net-tools安装完成以后，直接使用“ifconfig”命令查看虚拟机的IP地址：
然后我们就直接可以在windows中使用使用powershell进行远程了，这是我比较喜欢的方式，大家可以用自己喜欢的方式操作Ubuntu:
这里我们直接使用git命令在Ubuntu中直接拉取项目。这里我们首先使用下面的命令在我们的用户文件夹中新建一个“Project”的文件夹：
mkdir Project这里我们需要获取两个项目，一个是“RKNN-Toolkit2”另一个是“RKNN Model Zoo”。这里的“RKNN-Toolkit2”主要用于RKNN相关SDK的集成，我们需要借助“RKNN-Toolkit2”中的文件为泰山派的NPU的SDK进行升级。“RKNN Model Zoo”集成了模型转换的功能，我们onnx模型转为rknn模型就是在“RKNN Model Zoo”上完成的。并且我们要借助“RKNN Model Zoo”的Demo来运行模型。
我们使用下面的命令将这两个项目拉取到Project目录中：
git clone https://github.com/airockchip/rknn-toolkit2.git --depth 1git clone https://github.com/airockchip/rknn_model_zoo.git --depth 1这里大家需要注意，我们的项目一定要在Ubuntu中拉取，如果在windows中拉取会导致一些转义字符不同，会引发错误。
如果你因为网络问题拉取失败了，可以使用下面的命令来配置一下git的代理：
git config --global http.proxy http://192.168.112.22:7890
git config --global https.proxy http://192.168.112.22:7890这里的代理大家应该知道怎么改，就不多说了。
拉取完成以后，Project目录结构如下图所示：
现在我们来安装这两个项目运行所需的环境，因为这两个项目都是基于python运行的，所以我们需要安装python或者python的虚拟环境，这里推荐大家使用python的虚拟环境来进行，我后面也会使用虚拟环境进行演示，这里我们使用的虚拟环境仍然是conda，那么现在我们就来安装conda吧。
这里首先我们使用下面的命令将安装conda所使用的脚本文件下载下来：
wget -c https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Linux-x86_64.sh如果这里下载失败的话，大家直接将链接复制到浏览器中下载然后将下载的文件传输给Ubuntu即可。下载完成以后如图所示：
我们直接使用下面的命令给这个shell文件一个可执行权限：
chmod +x Miniforge3-Linux-x86_64.sh然后我们直接运行即可，使用下面的命令：
./Miniforge3-Linux-x86_64.sh运行以后让我们回车，我们直接回车即可：
然后会加载一大段协议，我们直接按“q”退出即可：
然后下面问我们同意协议吗，我们直接输入“yes”回车即可：
然后在问我们安装路径，我们直接回车：
最后这里大概是在问我们需不需要“conda init”初始化shell这个功能，我们直接输入“yes”回车即可：
随后就安装完成了：
我们执行一下下面这条命令确保conda的环境变量被正确加载：
source ~/.bashrc执行完以后，左边就出现虚拟环境的名称了，这里的base是一个基础的环境，这也说明我们的conda安装是没有问题的：
好的，conda安装完成以后我们继续，这里我们使用下面的命令来创建一个虚拟环境：
conda create -n rknn python=3.8这里我们同样使用python3.8建议大家的版本和我一样。
我们再使用下面的命令进入这个虚拟环境：
conda activate rknn进入环境以后，终端的前面会变成虚拟的名字，这里和windows是一样的，就不多说了：
这里我们直接使用下面的命令安装所需的依赖：
pip install rknn-toolkit2 这里的安装比较简单，一般不会出错。如果因为网络问题安装失败了，可以考虑使用代理或者换镜像源，能看到这里的小伙伴应该都知道怎么办，这里就不多说了。
安装完成以后，我们同样使用“pip list”来查看一下是否安装成功：
我们可以来测试一下，我们直接在终端依次执行下面的命令：
python
from rknn.api import RKNN导入库没有报错就没有问题：
想要退出这个python的终端直接输入“exit()”即可。
下面我们还需要安装一下CMake工具：
sudo apt install cmake安装完成以后，我们直接输入"cmake"，有输出就表示安装没问题：
CMake安装完成以后，我们来安装gcc的交叉编译器，这里在官方文档中还需要确认开发板的位数，这里因为我们针对的是泰山派，所以直接选择64位架构，我们直接使用下面的命令下载gcc的交叉编译器：
wget https://releases.linaro.org/components/toolchain/binaries/6.3-2017.05/aarch64-linux-gnu/gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu.tar.xz如果因为网络问题下载失败了，大家可以先下载到电脑上再传给虚拟机。
这里我们将gcc的压缩包移动到Project目录中：
然后我们去到Project目录中使用下面的命令进行解压：
tar -xvf gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu.tar.xz解压完成以后，我们就得到了以下文件夹：
这里原本的压缩包不要了可以直接删掉，现在Project的目录结构如图所示：
这里，建议大家将目录整理为和我一样的。
下面我们还需要安装adb调试环境，在后面会用到，这里我们首先在Ubuntu中使用下面的命令安装adb工具：
sudo apt install adb 然后我们需要找一根线，连接泰山派和计算机，VM可能会弹出下面的对话框，我们选择”连接到虚拟机“并且在下方选择我们的虚拟机：
当泰山派使用adb连接到虚拟机以后，我们使用下面的命令来查看一下能否找到adb设备：
adb devices如果找到adb设备了，下方会出现一段编号：
如果你这里没有找到设备，请确认你在弹出对话框时选择的是虚拟机，如果还是不行，重启虚拟机保证adb服务被正常启动，重启后记得重新插拔一次泰山派确保连接正确。
至此，我们项目运行所需的环境就全部安装完成了。
2.泰山派相关环境配置
现在我们来配置泰山派上相关的环境，关于泰山派的系统烧录在之前的教程中，已经教了大家如何配置泰山派并且将网络配通然后去远程泰山派，如果还有不知道的小伙伴请看下面的文章，这里泰山派的网络部分配置太麻烦了就不单独放在这篇文章中讲了：
泰山派系统编译及远程配置：[Linux]从零开始的泰山派系统安装与远程教程_泰山系统-CSDN博客
这里我就默认大家已经将网络配通，并且可以正常远程到泰山派。顺带一提，我这里用的是官方编译的Ubuntu系统，建议大家的系统和我一样，远程到泰山派以后，如图所示：
能够远程到开发板以后，我们来看看我们的RKNPU2环境是否安装，RKNPU2分为两个部分，一个是RKNN Server，另一个是RKNPU2 Runtime。在后面，我们会使用两种方式运行模型，一种是RKNN-Toolkit2工具在RKNN Server运行的前提下使用USB调试连接开发板进行调试间接调用NPU进行推理。还有就是使用RKNPU2 Runtime直接在系统中运行RKNN模型。这两种方法我后面都会进行演示，所以现在我们先来安装一下RKNPU2环境吧！
按理说，在泰山派的官方系统中已经默认内置了NPU驱动，我们直接使用下面的命令就可以查看NPU的驱动版本：
dmesg | grep -i rknpu在输出的内容中找到下面一行，就能直接看到驱动的版本，说明我们的NPU驱动是正常的，可以继续进行下一步：
这里为了我们的RKNN-Toolkit2能够正常连接RKNN Server，我们需要更新一下RKNN Server，这里我们来到RKNN-Toolkit2的项目目录下进入“rknpu2 untimeLinux knn_serverarch64usrin”文件夹，可以看到以下文件：
这里我们需要将这些文件传输到泰山派的“/usr/bin”目录中，官方使用的是adb的方法，大家可以直接看官方手册。这里我使用的是sftp的方法。不管用什么方法，总之将这几个文件放到泰山派的对应目录就行：
这里需要注意，这些文件都不要经过windows，全程在linux中进行操作。
上传完上面的文件以后，我们来到RKNN-Toolkit2项目目录下的“rknpu2/runtime/Linux/librknn_api/aarch64”目录下，可以看到以下文件：
我们需要将这个文件发送到泰山派的“/usr/lib”目录下，这里注意是“/usr/lib”不要弄错了：
这些文件上传完成并且确定没有问题以后，我们就可以在泰山派的终端中输入下面的命令来启动RKNN server了：
restart_rknn.sh输入命令以后，我们可以看到，这里的服务已经启动起来了：
如果你在输入命令以后出错，首先检查对应的目录中有没有这些文件以及这些文件有没有可执行权限，然后回顾之前的操作，看看这些文件有没有在windows中存在过（这一点很关键，可能会导致转义字符出现错误）。
这里RKNN server的服务启动成功以后，泰山派一侧就配置完成了。
3.onnx到rknn模型转换
在配置完上面的环境以后，我们就可以进行模型转换了。这里建议大家和我一样，我们先不转换自己训练的模型，我们先用官方的模型来测试一下能不能运行。这里我们先进入“rknn_model_zoo”项目目录下的“rknn_model_zoo/examples/yolov8”目录下，可以看到以下文件：
现在我们需要在这个目录下操作一阵子了，这里我们进入model文件夹，可以看到以下文件：
这里我们使用下面的命令运行一下模型下载脚本，这里下载的模型是官方做好的一个onnx的测试模型，我们先使用这个模型将官方的demo跑通再使用我们自己的模型：
bash download_model.sh下载完成以后，“model”下就多了一个名为“yolov8n.onnx”的文件：
模型下载完成以后，我们就可以装备进行模型转换了，这里我们进入yolov8目录下的python目录：
进入以后，可以看到这些文件：
这里我们进入虚拟环境，然后在python目录下执行下面的命令，注意，这里要先进入虚拟环境：
python convert.py ../model/yolov8n.onnx rk3566 i8 ../model/yolov8n.rknn这里的“convert.py”就是我们python目录下的一个脚本，然后“../model/yolov8n.onnx”表示我们刚才下载的模型。“rk3566 ”表示我们的模型要运行在什么处理器上面，大家可以改为自己的处理器，我这里使用的是泰山派所以就是3566。后面的“i8”表示int8量化，也可以改为“fp”表示float32。“../model/yolov8n.rknn”表示输出模型的名字。这些都比较好理解，就不多说了。
命令执行以后，模型转换就开始了：
这里只要路径没写错，一般都不会有问题。模型转换时可能会出现一些警告，可以不用管。
命令运行结束以后，我们的model目录下就出现了一个名为“yolov8n.rknn”的模型：
这就是我们后面要用到的模型，至此，模型转换就已经完成了。
4.官方python demo运行测试
当我们拥有了“yolov8n.rknn”这个模型以后，我们就可以使用官方的python demo进行测试了，这里我们同样的来到yolov8目录下的python目录：
进入python目录以后，我们需要确保虚拟机与泰山派的adb连接正常：
还需要确定在泰山派的一侧RKNN server服务已经启动，就像下面这样：
确保上面都没有问题以后，直接执行下面命令：
python yolov8.py --model_path ../model/yolov8n.rknn --target rk3566这里的命令非常好理解。这里的“yolov8.py”是python目录下的一个脚本，“--model_path ../model/yolov8n.rknn”传入的是我们转换好的模型的路径。“--target rk3566”表示在我们的设备上运行并且我们的设备处理器为rk3566。命令执行以后，就可以看到运行日志了：
运行完成以后，在我们的yolov8目录中，图片就已经被推理出来了：
至此，官方的python demo就已经运行完成了。这是真正使用我们泰山派的NPU推理出来的图片。
5.官方C Demo运行
在上面我们已经使用官方的python demo调用泰山派的npu推理出一张图片了。但是大家也发现了，这样真的是太不方便了，每次都要我们adb去调试才能实现图片推理。有没有一种办法，可以让我们的开发板不依赖虚拟机的adb呢？当然是有的，瑞芯微写了一段C代码，我们编译这个C代码为可执行文件，就可以直接在泰山派上运行了从而不依赖任何外部设备。下面我们就来交叉编译一下这段C代码吧！
在编译之前，大家需要确定自己的第3步已经完成了，也就是模型转换的那一步，这里不管是c还是python的demo都需要依赖rknn模型来运行。
这里我们进入到“rknn_model_zoo”的项目目录，可以看到以下文件和文件夹：
这里我们主要会用到一个名为“build-linux.sh”的文件：
下面我们需要在“build-linux.sh”这个文件中配置一下交叉编译环境，我们会首先看到我们一开始安装的交叉编译器的文件夹，我先带大家找一下交叉编译器的位置：
进入这个名为“gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu”的文件夹以后，就可以看到以下文件和文件夹了：
这里我们再进入这个文件夹下的bin目录，就可以看到以下文件了：
这些可执行文件就是我们的交叉编译器，我们直接这个bin目录下使用“pwd”命令，这里打印出来的路径就是我们交叉编译器的路径：
大家将这个路径记好，或者是复制下来，等会儿要用。
我们回到“rknn_model_zoo”的项目目录并且打开一开始我们提到的“build-linux.sh”文件，可以看到以下内容：
我们在第一行的下方加一行下面的代码：
GCC_COMPILER=/home/chulingxiao/Project/gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu/bin这里的“GCC_COMPILER=”后面跟的就是我们刚刚找到的交叉编译器的路径，我们还需要在最后加上“aarch64-linux-gnu”，这里不会加的小伙伴看我的图，修改好以后如图所示： 
修改完以后，保存退出即可。
这里我们再使用下面的命令给这个脚本一个可执行权限：
chmod +x ./build-linux.sh然后我们继续在“rknn_model_zoo”的项目目录下使用下面的命令开始交叉编译：
./build-linux.sh -t rk356x -a aarch64 -d yolov8这里的“ ./build-linux.sh”就是我们刚才修改过的脚本，“-t rk356x”表示我们开发板的处理器，我这里同样的是泰山派，所以就写“356x”其中肯定也包含了3566，“-a aarch64”表示架构，因为我是泰山派所以就是arm64架构。最后的“-d yolov8”表示我们编译的模块为yolov8。命令执行以后编译就开始了：
在编译完成以后，我们的“rknn_model_zoo”项目目录下就出现了一个名为“install”的目录：
进入这个目录，我们可以看到以下文件夹：
再进入这个名为“rk356x_linux_aarch64”文件夹就可以看到我们的编译出来的项目文件夹了：
我们同样使用sftp将其传输到泰山派中，这里大家不要使用root用户传输，并且将其传输到普通用户目录即可，为了避免权限问题：
可以看到我这里已经传输完成了。我们去到泰山派的对应目录看一下，可以看到这个文件已经在泰山派中了：
进入这个目录可以看到以下文件和文件夹：
“lib”放的是一些运行的依赖库，“model”存放的是模型和测试使用的图片，然后就是两个可执行文件。
我们使用下面的命令设置依赖库环境：
export LD_LIBRARY_PATH=./lib我们直接使用下面的命令进行推理：
./rknn_yolov8_demo model/yolov8n.rknn model/bus.jpg这里的“./rknn_yolov8_demo”就是我们运行的可执行文件，“model/yolov8n.rknn”表示使用模型的路径，“model/bus.jpg”表示要推理的图片的路径。输入命令回车以后，就可以看到下面的提示了：
在我们的目录中，也会出现一个名为“out.jpg”的文件，这就是yolo推理出来的文件：
我们可以将其发送到ubuntu查看一下，这里同样使用sftp：
传输完成后我们在ubuntu中打开：
这样，我们的泰山派就可以使用官方的C demo脱离任何设备来运行yolo了。
至此，我们使用泰山派运行官方C demo就完成了。
七、泰山派运行自己的yolov8模型
在前面，我们费了那么大劲，终于把官方demo跑通了，但是大家应该还记得，我们一直使用的都是官方的模型，我们自己运行的yolo模型还没有派上用场。那么现在，就来带大家运行一下自己运行的yolo吧！
这里我们首先使用文件传输服务将我们训练并且转换出来的onnx模型放在“rknn_model_zoo”项目目录下的“examples/yolov8/model”目录下，这里和我们之前存放官方模型的路径是同一个：
这里模型上传完成以后，我们同样需要对模型进行转换，毕竟这里的模型还是onnx格式的。
这里我们进入“rknn_model_zoo”项目目录下的“examples/yolov8/python”目录：
这里我们还需要进入虚拟环境，直接使用下面的命令即可：
conda activate rknn然后我们直接在python目录中执行下面的命令即可：
python convert.py ../model/best.onnx rk3566 i8 ../model/best.rknn这里的“best.onnx”是我自己训练的模型的名字。
模型转换成功以后，在model目录下多出来以下文件：
这里因为使用的是自己的模型，我们需要改一下C语言的代码，这里我们需要打开yolov8目录下的cpp目录，可以看到以下文件：
这里我们需要改一下 “postprocess.h”文件，打开“postprocess.h”文件以后，就能看到以下内容：
这里我们需要将“#define OBJ_CLASS_NUM”这一行改为我们训练对象的个数，这里我们结合训练时的yaml文件来看，可以看到我这里训练了九个类别：
所以“#define OBJ_CLASS_NUM”就设置为9，这里一定要设置，不然肯定会报错的：
这里我们还需要修改一下yolov8目录下的model目录下的“coco_80_labels_list.txt ”文件 ，打开文件后，我们将我们之前训练时的对象加进去：
这里写的一定要和yaml文件中的对应，顺序都不能错：
修改完以后，我们回到“rknn_model_zoo”的项目目录中，我们再次使用下面的命令对项目进行编译：
./build-linux.sh -t rk356x -a aarch64 -d yolov8编译完成以后，我们同样可以在“rknn_model_zoo”项目目录下的“install/rk356x_linux_aarch64”目录下找到编译过后的文件：
因为我训练的模型是一个识别杯子的模型，所以，这里我放一张杯子的图片到“rknn_yolov8_demo/model/”目录中：
做完以上以后，我们直接将“rknn_yolov8_demo”整个目录发送到泰山派中：
我们同样需要指定一下库的位置：
export LD_LIBRARY_PATH=./lib然后我们同样直接使用下面的命令来运行一下可执行文件：
./rknn_yolov8_demo model/best.rknn model/test.jpg这里我们再将推理出来的图片拉过来，发现已经正确的框出对象了：
至此，在泰山派的运行自己训练的模型就已经完成了。
八、结语
本次教程涉及到太多东西了，光是写本次教程就用了整整两天，奇怪的问题也遇到了不少，如果你看到了这里，说明你已经客服了所有的困难并且部署成功了。当然在这里发自内心的恭喜你，如果你遇到了问题，也欢迎在评论区或者私信中问我，如果我的文中出现了不正确的地方，也欢迎指出，那么最后，感谢大家的观看！
