- 1.TensorRT 下载
- 2.安装
- 3.测试
- 4.运行
- 补充
TensorRT 各个版本的下载网址(用这个网址可以跳过 老黄的调查问卷):
https://developer.nvidia.com/nvidia-tensorrt-8x-download
https://developer.nvidia.com/nvidia-tensorrt-7x-download
https://developer.nvidia.com/nvidia-tensorrt-6x-download
主要是 for linux 也有windows
很奇怪 TensorRT 7.x 和 TensorRT 6.x 里没有python 文件夹
最后我在TensorRT 8.x 里发现
TensorRT-8.2.1.8.Windows10.x86_64.cuda-10.2.cudnn8.2 可以使用
最后用了这版,我的笔记本显卡是1660Ti
TensorRT-7.2.3.4.Windows10.x86_64.cuda-10.2.cudnn8.1文件内容:
TensorRT-8.2.1.8.Windows10.x86_64.cuda-10.2.cudnn8.2文件内容:
2.安装
一开始安装我参考了他的,感谢作者~,但又不太一样,我改进优化了一下:https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/120360288
- 2.1 配置环境:
将下载好的文件解压到一个安静的磁盘位置,然后将“X:\TensorRT-7.2.3.4\lib”添加环境变量。 环境变量位置: 此电脑图标–右键属性–高级系统设置–高级–环境变量–系统变量–path
- 2.2 安装必要的whl文件
安装 graphsurgeon、uff、onnx_graphsurgeon, 如下图所示:
安装方法是用Anaconda Prompt cd到这三个文件夹下 然后再安装,如下图所示:
记得激活需要安装的虚拟环境
如果 onnx_graphsurgeon 安装失败
可以用以下命令:
pip install onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl -i https://pypi.tuna.tsinghua.edu.cn/simple
-
2.3 安装python 版本的tensorrt-8.2.1.8
关键的来了,找到TensorRT里的python文件夹,找到对应环境的python版本,进行安装:
-
2.4 复制dll文件到cuda安装目录
复制到:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\bin 下
到这里就安装完成了,需要测试一下。
3.测试
简单测试一下
import tensorrt as trt
print(trt.__version__)
这样就没问题了
将.pt转换为.engine
.pt --> .onnx -->.engine
转换后的.engine 可以在win10平台上使用
一个轻量模型 可以从 一张图片 0.008s提速到0.004s,从 125帧/s 提升到 250帧/s,大约2倍(估计本来就快)
补充1.如果还需要安装pycuda 如下安装网址:
https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycuda
2.如果转yolov5 的.pt权重遇到了这个问题:
Could not load library cudnn_cnn_infer64_8.dll. Error code 126
Please make sure cudnn_cnn_infer64_8.dll is in your library path!
可以参考这个老哥的方法:
https://blog.csdn.net/illumiD/article/details/123266661
成功有效,比换版本的方便多了
成功!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)