rknn_convert是RKNN-Toolkit2提供的一套常用模型转换工具，通过封装上述API接口，用户只需编辑模型对应的yml配置文件，就可以通过指令转换模型。以下是如何使用rknn_convert工具的示例命令以及支持的指令参数：
python -m rknn.api.rknn_convert -t rk3588 -i ./model_config.yml/onnx -o ./output_path
通过使用上述命令和参数，用户可以将模型转换为RKNN格式，并将转换后的模型保存到指定的输出路径。
注意：我写这个功能主要是为了方便临时测试，不要写代码就可以进行简单的连板调试
部分指令参数说明如下：
- -i: 模型配置文件（.yml/onnx）路径,如果只是评估rknn模型在板子上的精度、速度和内存使用情况可以直接使用onnx模型，也可以配置yml(挺繁琐的但是也有小部分人用)。
- -o: 转换后模型输出路径。
- -t: target_platform，目标平台可以选择rv1103，rv1103b, rv1106，rv1106b，rv1126b, rk2118，rk3562，rk3566，rk3568，rk3576或rk3588（只要不是rknpu1都可以）。
- -e: (选填) 评估连板运行时model的耗时和内存占用，若开启请输入-e。注：一定要连接相应开发板并正确设置
target_platform，否则会报错，当有多设备时可通过-d参数指定设备ID。 - -a: (选填)评估生成的rknn模型精度，开启模拟器精度评估请输入-a "xx1.jpg”，如果模型是两输入则-a “xx1.jpg xx2.jpg”，若要开启连板精度评估请配合-d参数使用。
- -v: (选填)指定是否要在屏幕上打印详细日志信息，若开启打印模式请输入-v。
- -d: (选填)单个adb设备使用-d，多adb设备使用-d device_id，device_id通过adb devices查询。
- -do_Quant：若要量化成int8就设置这个参数，后接量化集xxx.txt,如果这个参数不设置默认使用fp16,即不量化
- -onnx_inputs：有时候onnx的输入可能是[?,3,384,384]这种没有指定的，则可以使用该参数固定shape，比如-onnx_inputs “{‘img’:[1,3,384,384]}”
- -onnx_outputs：可以用来截断模型，比如-onnx_outputs “[‘output_0’,‘output_1’]”
- -custom_hybrid：用来fi16和i8混合量化的功能（1106则是int16和int8混合量化），实现的效果可以参考rknn model zoo的yolov8 pose混合量化
- -h: 查询具体参数
具体参数如下
Usage: python script.py [OPTIONS]
Options:-i, --input : yml config file path (required)-o, --output : output dir-t, --target_platform : target_platform, support rk3568/rk3566/rk3562/rk3588/rv1126b (required)-e, --eval_perf_memory : eval model perf and memory, board debugging is required, multi adb device use -d, default=false (default: False)-a, --accuracy_analysis : Usage: -a "xx1.jpg xx2.jpg". Simulator accuracy_analysis, if want to turn on board accuracy_analysis, please use -d-v, --verbose : whether to print detailed log information on the screen, default=false (default: False)-d, --device_id : Single adb device usage: -d. Multi adb device usage：-d device_id-mean, --mean : Usage: -mean "[0,0,0]" or "[[127],[127],[127]]", default is 0-std, --std : Usage: -std "[1,1,1]" or "[[127],[127],[127]]", default is 1-do_Quant, --do_Quant : Attach dataset txt file, such as -do_Quant xxx.txt. If there is no txt file, do_quantization=False by default.-onnx_inputs, --onnx_inputs : Usage: -onnx_inputs "{'Cast_0':[1,3,384,384],'Cast_1':[1,3,640,640]}"-onnx_outputs, --onnx_outputs : Usage: -onnx_outputs "['output_0','output_1']"-dynamic_input, --dynamic_input : Usage: -dynamic_input "[[[1,3,256,256]],[[1,3,160,160]]]"-RGB2BGR, --quant_img_RGB2BGR : quant_img_RGB2BGR, default=false (default: False)-Quant_algorithm, --quantized_algorithm : Usage: -Quant_algorithm normal/mmse/kl_divergence, default='normal' (default: normal)-compress_weight, --compress_weight : compress_weight, default=false (default: False)-single_core_mode, --single_core_mode : single_core_mode, default=false (default: False)-Quant_dtype, --quantized_dtype : quantized_dtype support: w8a8, w8a16, w16a16i, w16a16i_dfp, w4a16. default is w8a8 (default: w8a8)-custom_hybrid, --custom_hybrid : Usage: -custom_hybrid "[['start_node_name','end_node_name']]"下面是一个使用onnx输入的例子（注意外层使用” “，内层使用’ '，要不然会有bug，比如-onnx_outputs “[‘output_0’]”）：
python -m rknn.api.convert -i xxx.onnx/yml -o ./ -t rk3588 -do_Quant xxx.txt -mean "[0,0,0]" -std "[255,255,255]" -onnx_inputs "{'Cast_0':[1,3,384,384]}"-onnx_outputs "['output_0']" -Quant_algorithm kl_divergence -a "xx1.jpg" -e -d 123456 -custom_hybrid "[['/model.22/cv4.0/cv4.0.0/act/Mul_output_0','/model.22/Concat_6_output_0']]"
下面是一个参考的yml配置文件(object_detection.yml)：
models:# model output namename: object_detection # Original model frameworkplatform: onnx # Model input file pathmodel_file_path: ./object_detection.onnx # Describe information such as input and output shapessubgraphs: # model input tensor shapeinput_size_list: - 1,3,512,512# input tensor nameinputs: - data# output tensor nameoutputs: - conv6-1- conv6-2- conv6-3# quantification flagquantize: true # Quantify dataset file path (relative yml path)dataset: ./dataset.txt configs:quantized_dtype: asymmetric_quantized-8 # rknn.config mean_values mean_values: [127.5,127.5,127.5] # rknn.config std_values std_values: [128.0,128.0,128.0] # rknn.config quant_img_RGB2BGR quant_img_RGB2BGR: false # rknn.config quantized_algorithm quantized_algorithm: normal
这个配置文件包括了模型的名称、原始模型使用的框架、模型文件路径、输入输出信息、是否进行量化等详细信息。用户可以根据模型的特定需求编辑相应的配置文件。
模型转换配置详见下表：
| 参数名 | 填写内容 |
|---|---|
| -name | 模型输出名称 |
| -platform | 原始模型使用的框架，支持tensorflow、tflite、caffe、onnx、pytorch、darknet |
| -model_file_path | 原始模型文件路径，适用于单模型文件输入，例：tensorflow、tflite、onnx、pytorch |
| -quantize | 是否开启量化 |
| -dataset | 量化dataset文件路径（相对yml配置文件路径），若要开启accuracy_analysis此项必填 |
| -prototxt_file_path | platform为caffe时，模型的prototxt文件 |
| -caffemodel_file_path | platform为caffe时，模型的caffemodel文件 |
| -darknet_cfg_path | platform为darknet时，模型的cfg文件 |
| -darknet_weights_path | platform为darknet时，模型的weight文件 |
| -subgraphs | 描述输入输出shape等信息。除特定框架外，一般情况下该参数及附带的子参数可不写，使用模型默认值 |
| ----input_size_list(子参数) | 输入tensor的shape |
| ----inputs(子参数) | 输入tensor的名称 |
| ----outputs(子参数) | 输出tensor的名称 |
| -configs | 对应rknn.config()配置 |
| ----quantized_dtype(子参数) | 量化类型，RKNN_toolkit2: 可填写 [asymmetric_quantized-8]，不输入用默认值 |
| ----mean_values(子参数) | 输入的均值归一数，模型为单输入RGB如[123.675,116.28,103.53]，若为多输入如[[123,116,103],[255,255,255]] |
| ----std_values(子参数) | 输入的方差归一数，模型为单输入RGB如[58.395,58.295,58.391]，若为多输入如[[127,127,127],[255,255,255]] |
| ----quant_img_RGB2BGR(子参数) | 用于控制量化时加载量化校正图像时是否需要先进行RGB到 BGR 的转换，默认值是False |
| ----quantized_algorithm(子参数) | 量化算法，可选[‘normal’, ‘kl_divergence’, ‘mmse’]，默认为 normal |
| ----quantized_method(子参数) | 量化方式，RKNN_toolkit2可选[‘layer’, ‘channel’]，默认为channel |
| ----optimization_level(子参数) | 设置优化级别。默认为3，表示使用所有默认优化选项 |
| ----model_pruning(子参数) | 修剪模型以减小模型大小，默认为false，开启为true |
| ----quantize_weight(子参数) | 当quantize参数为false时，通过量化一些权重来减小rknn模型的大小。默认为false，开启为true |
| ----single_core_mode(子参数) | 是否仅生成单核模型，可以减小RKNN模型的大小和内存消耗。默认值为False。目前对RK3588/RK3576生效。默认值为 False |
| ----compress_weight(子参数) | 压缩权重使rknn模型更小，默认为false，开启为true |
| ----inputs_yuv_fmt(子参数) | 输入配置为YUV格式，默认为false |
)
