本节评估一下,通过对卷积的 co 维度进行多线程切分之后,对于模型的性能提升。
评估下性能
在进行多线程程序运行时,建议电脑中的 CPU 不要有其他繁重的任务执行。
在相同的环境下,分别运行 5th_codegen 和 6th_multi_thread 下的 compile.sh 脚本进行代码编译,然后运行编译后生成的可执行文件 ./resnet。
可以分别获取到权值预加载前后的性能指标。
可以看到性能提升非常明显:优化前平均推理延时为 772 ms,优化后为 291 ms,性能提升了大概 260%,效果很好,而且推理结果也是正确的。
注意:不同电脑机器不同环境下测出来的性能会有差异,大家只需要比对性能提升的相对值即可