openvino推理加速，open vino推理框架优缺点

本内容由系统网小编为大家分享，Windows系统安装教程、办公系统、软件怎么使用、软件使用教程、办公软件攻略等信息。

简介

OpenVINOTM是优化和实施人工智能推理的开放源码工具箱。

在计算机图形、自动语音识别、自然语言处理和其他大众应用方面,深层学习成绩有所改善。 利用利用诸如Tensor Flow、PyTorrch等流行框架培训的模型。 资源需求正在减少,从边缘到云层的一系列英特尔平台正在更有效地部署。

由于作者的项目开发需要加快OpenVINO针对YOLOV5的推理速度,这项工作主要是加速YOLOV5的模型转换和推理速度,与其他模型基本平行。

模型转换

pt To ONNX

利用 YOLOV5 源文件的导出。 Python 脚本可以快速将yolo 训练过的 pt 模型转换为通用的 onnx 模型 。

Yolov5 的模型目录

pt 模型可立即转化为 Anonx 模型。

ONNX To IR

OpenVINO推理加速在部署工具/最佳推理器线路下采用了中间模型,该模型还提供了一个脚本,用于将ONNX模型转换为以自己的模型优化器转换成IR模型的IR模型。

运行模型转换脚本

SUCCESS 的外观显示转换成功, 文件. xml 和. Bin 将在正确的路径. xml 和. Bin 文件下创建, 您必须随时将这两个模式文件置于一个一致路径下 。

推理加速原理

OpenVINO利用不要求示范再培训的滚动神经网络加速推理。

线性操作融合

曲线神经网络包括:BatchNormalization和ScaleShift图层(例如,Resnet*Inption*)可称为线性计算顺序:可合并的增量和乘数。Convolution要么FullyConnected层。

印章优化(ResNet优化)

ResNet优化是优化的一个子集。ResNet50、ResNet101、ResNet152和其他使用咖啡类ResNet和ResNet播种的播种方法的播种方法。优化的主要理念是从内核大小=1到上体积跨一步以上。 此外，模型优化器增加了一个池层。

推理步骤

1. 搭建推理环境

2. 执行推理

3. 后处理

在不同的网络模型中,相应的后处理方式各有不同,在不同的网络模型中,仅以广义提供参考。

参考

Converting a Model to Intermediate Representation (IR)

Model Optimization Techniques

后续

如果你选择的话, 你可以集中关注我的公共开发圈, 特别是那些对深层学习和电脑可视化感兴趣的朋友, 我会分享所需的源代码和更多关于它的信息, 或许是为了帮助新人!

XTw.com.Cn系统网专业应用软件下载教程，免费windows10系统,win11,办公软件,OA办公系统,OA软件,办公自动化软件,开源系统,移动办公软件等信息，解决一体化的办公方案。