石秀和卢俊义在城内走投无路,又被抓住。梁中书把他两个人押入死牢。蔡福把他俩关在一处,好酒好菜照顾着,没让两人吃苦。
第二天就接到城外梁山泊的帖子,说大军已经来到,要替天行道,让他放人,并交出李固。梁中书被吓坏了,赶紧写表申奏朝廷并告知蔡京。其实这是吴用的缓兵之计,大队人马要稍后才能来到。
梁山派出大军去救卢俊义。李逵做先锋,与一丈青扈三娘、扑天雕李应等在飞虎寨打败李成和索超。
梁山打仗超顺的,AI人工智能方面,熟练使用ONNX进行推理,也会感觉超顺的。
飞桨ONNX推理部署初探
ONNX,全称Open Neural Network Exchange(开放神经网络交换),是一个用于表示深度学习模型的标准,它定义了一组与环境、平台均无关的标准格式。这使得不同的人工智能框架,如飞桨、MXNet等,可以采用相同的格式来存储模型数据并进行交互。
ONNX的主要功能是为AI模型提供开源格式,定义了一个可扩展的计算图模型,以及内置运算符和标准数据类型的定义。它使模型能在不同框架之间进行转移,从而实现了跨平台的兼容性。此外,ONNX文件不仅存储了神经网络模型的权重,还存储了模型的结构信息、网络中每一层的输入输出以及一些其他的辅助信息。
Paddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式。通过 ONNX 可以完成将 Paddle 模型到多种推理引擎的部署,包括 TensorRT/OpenVINO/MNN/TNN/NCNN,以及其它对 ONNX 开源格式进行支持的推理引擎或硬件。
ONNX支持RISCV平台,极大的提高了RISCV平台AI部署的方便性!
下面简要学习下ONNX的飞桨模型应用,理论上AIStudio平台可以使用,那么RISCV平台也可以!
安装Paddle2ONNX
下载源代码
git clone https://github.com/PaddlePaddle/Paddle2ONNX
安装需要的库
需要用低版本Pillow和numpy,否则会有报错。如果不降低numpy版本,则需要在涉及numpy.int的代码修改成int
pip install onnxruntime
pip install Pillow==9.5.0 # 需要用低版本Pillow
在RISCV平台,需要安装特供的ONNX版本:https://github.com/zhangwm-pt/onnxruntime
安装方法为下载源代码,然后执行build.sh即可。
图像分类实践
cd /home/aistudio/Paddle2ONNX/model_zoo/classification/
wget https://bj.bcebos.com/paddle2onnx/model_zoo/mobilenetv3.onnx
python infer.py --model mobilenetv3.onnx --image_path images/ILSVRC2012_val_00000010.jpeg
目标检测实践
cd /home/aistudio/Paddle2ONNX/model_zoo/detection/
# 下载PicoDet模型
wget https://bj.bcebos.com/paddle2onnx/model_zoo/picodet_l_640_coco.onnxpython3 infer.py \--model_path picodet_l_640_coco.onnx \--image_path ./images/hrnet_demo.jpg \--model_type=picodet
需要用低版本Pillow和numpy,否则会有报错。如果不降低numpy版本,则需要在涉及numpy.int的代码修改成int
文字识别实践
安装相关库
pip install shapely pyclipper
下载模型
cd /home/aistudio/Paddle2ONNX/model_zoo/ocr# 下载det模型
wget https://bj.bcebos.com/paddle2onnx/model_zoo/ch_PP-OCRv2_det_infer.onnx# 下载rec模型
wget https://bj.bcebos.com/paddle2onnx/model_zoo/ch_PP-OCRv2_rec_infer.onnx# 下载cls模型
wget https://bj.bcebos.com/paddle2onnx/model_zoo/ch_ppocr_mobile_v2.0_cls_infer.onnx
执行识别
python3 infer.py \
--det_model_dir=./ch_PP-OCRv2_det_infer.onnx \
--rec_model_dir=./ch_PP-OCRv2_rec_infer.onnx \
--cls_model_dir=./ch_ppocr_mobile_v2.0_cls_infer.onnx \
--image_path=./images/lite_demo.png
在庾家村,霹雳火秦明与索超打得不分胜负,韩滔一箭射中秦明左臂,宋江大军杀过庾家村。
小李广花荣和杨春、陈达等在飞虎峪打败了闻达和李成,两人且战且走退到了城里。第二天宋江大军直抵东门大寨,准备攻城。
梁中书派心腹星夜上京师报告,蔡京派出丑郡马宣赞、大刀关胜和井木犴郝思文三人出征。郝思文为先锋,宣赞为合后(后卫),关胜为领兵指挥使。
欲知后事如何,且听下回分解。