Pytorch部署方案（一）：基于TensorRT（一个C++库）【最成熟&最优化】【①Pytorch-＞ONNX-＞TensorRT；②Pytorch-＞Caffe-＞TensorRT】

一、Pytorch转ONNX的意义

一般来说转ONNX只是一个手段，在之后得到ONNX模型后还需要再将它做转换，比如转换到TensorRT上完成部署，或者有的人多加一步，从ONNX先转换到caffe，再从caffe到tensorRT。原因是Caffe对tensorRT更为友好，这里关于友好的定义后面会谈。

因此在转ONNX工作开展之前，首先必须明确目标后端。ONNX只是一个格式，就和json一样。只要你满足一定的规则，都算是合法的，因此单纯从Pytorch转成一个ONNX文件很简单。但是不同后端设备接受的onnx是不一样的，因此这才是坑的来源。

Pytorch自带的torch.onnx.export转换得到的ONNX，ONNXRuntime需要的ONNX，TensorRT需要的ONNX都是不同的。

真正落地的算法部署，毫无疑问，假如你的target是GPU，采用ONNX+TensorRT应该是目前最成熟、最优化的方案。

假如你的target是一些嵌入式芯片，那么采用MNN也是可以通过onnx轻松实现CPU嵌入式端快速推理的。

既然ONNX和TensorRT这么好，为什么都不用呢？为什么都还在用Python写难看的推理的代码呢？原因也很简单：

• 入门太难，C++一般人玩不来；
• 既要懂模型的每一层输入输出，又要懂TensorRT的API，至少要很熟悉。

二、TensorRT

一般的深度学习项目，训练时为了加快速度，会使用多GPU分布式训练。

但在部署推理时，为了降低成本，往往使用单个GPU机器甚至嵌入式平台（比如 NVIDIA Jetson）进行部署，部署端也要有与训练时相同的深度学习环境，如caffe，TensorFlow等。

由于训练的网络模型可能会很大（比如，inception，resnet等），参数很多，而且部署端的机器性能存在差异，就会导致推理速度慢，延迟高。这对于那些高实时性的应用场合是致命的，比如自动驾驶要求实时目标检测，目标追踪等。所以为了提高部署推理的速度，出现了很多轻量级神经网络，比如squeezenet，mobilenet，shufflenet等。基本做法都是基于现有的经典模型提出一种新的模型结构，然后用这些改造过的模型重新训练，再重新部署。

TensorRT是一个高性能的深度学习推理（Inference）优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。

TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。

TensorRT 是一个C++库，从 TensorRT 3 开始提供C++ API和Python API，主要用来针对 NVIDIA GPU进行 高性能推理（Inference）加速。现在最新版TensorRT是4.0版本。

TensorRT 之前称为GIE。

三、ONNX、TensorRT的关系

onnx可以认为是一个文件协议(表示机器学习模型的开放标准)， 许多框架（包括 TensorFlow、PyTorch、SciKit-Learn、Keras、Chainer、MXNet 和 MATLAB）中的模型都可以导出或转换为标准 ONNX 格式。 模型采用 ONNX 格式后，可在各种平台和设备上运行。可以支持不同平台的CPU，GPU推理
tensortRT 是一个推理优化器，是一个C++库

---

---

---

参考资料：
Pytorch转ONNX-理论篇
ONNX 介绍及TENSORRT部署
ONNX+TensorRT
部署教程｜ResNet原理+PyTorch复现+ONNX+TensorRT int8量化部署