前言

NVIDIA TensorRT是一種高性能神經網絡推理(Inference)引擎，用于在生產環境中部署深度學習應用程序，

應用有圖像分類、分割和目標檢測等，可提供最大的推理吞吐量和效率。TensorRT是第一款可編程推理加速器，

能加速現有和未來的網絡架構。TensorRT需要CUDA的支持。TensorRT包含一個為優化生產環境中部署的深度

學習模型而創建的庫，可獲取經過訓練的神經網絡(通常使用32位或16位數據)，并針對降低精度的INT8運算來

優化這些網絡。借助CUDA的可編程性，TensorRT將能夠加速助推深度神經網絡日益多樣化、復雜的增長趨勢。

通過TensorRT的大幅度加速，服務提供商能夠以經濟實惠的成本部署這些計算密集型人工智能工作負載。

已有來自各行各業的公司開始采用NVIDIA推理平臺，借助此從數據中獲得全新洞察，并為企業和消費者部署智能服務。

TensorRT由英偉達(NVIDIA)發布，目前包括TensorRT1、TensorRT 2、TensorRT 3，是深度學習軟件包，支持FP16特性。

TensorRT支持使用Caffe的模型。TensorRT相對簡單易用，在深度學習算法推理階段能將GPU的計算能力更大程度釋放出來。

TensorRT在不斷的改進過程中，在保證軟件精度的同時，不斷提高速度。TensorRT針對運行時性能自動優化訓練過的神經網絡。

TensorRT是一個C++庫。TensorRT只能用來做Inference(推理)，不能用來進行train。

TensorRT基本處理過程：

(1) caffe model轉化GIE的model，或者從磁盤或者網絡加載GIE可用的model；

(2) 運行GIE引擎(數據提前copy到GPU中);

(3) 提取結果。

轉化GIE model兩種方式：

(1) caffeToGIEModel；

(2) 參考sampleMNIST API自己構建GIE model.

用深度神經網絡解決監督機器學習問題包含兩個步驟：

第一步是使用GPU對海量標簽數據進行深度神經網絡訓練，訓練時需要迭代的通過網絡進行

前向傳播和反向傳播，最終會生成訓練好的model文件。

第二步是推理(Inference)即使用訓練好的模型對新數據做出預測，僅需通過網絡進行前向傳播。

TensorRT是一款高性能的推理引擎，旨在為常見的深度學習應用如圖像分類、分割、目標檢測等提供最大的推理吞吐量和效率。

針對運行時性能，TensorRT會優化已訓練的神經網絡。使用TensorRT包含兩個階段：構建(build)和部署(deployment)。

在構建階段，TensorRT對網絡配置進行優化，并生成一個優化了的plan用于計算深度神經網絡的前向傳播。

這個plan是一個優化了的目標代碼，可以序列化存儲在內存或磁盤上。部署階段通常采用長時間運行的服務或用戶應用程序的形式，

該服務或用戶應用程序接受批量輸入數據，通過對輸入數據執行plan來執行推理，并返回批量輸出數據。

使用TensorRT，你無需在部署硬件上安裝并運行深度學習框架。

TensorRT構建階段：TensorRT運行時需要三個文件來部署一個分類神經網絡：一個網絡體系結構文件(deploy.prototxt)，

已訓練的權值(net.caffemodel)和一個標簽文件為每個輸出類提供一個名稱。另外，你必須定義batch size和輸出層。

TensorRT對神經網絡圖(neural network graph)進行了幾個重要的轉換和優化：消除未使用的輸出的層以避免不必要的計算；

在可能的情況下，convolution、bias和ReLU層被融合以形成單個層，包括垂直層融合和水平層融合。

在TensorRT解析器讀入已訓練的網絡和配置文件后，TensorRT在構建階段對API用戶透明地執行其轉換。

在構建階段，TensorRT優化網絡，在部署階段，TensorRT以最小化延遲和最大化吞吐量運行優化了的網絡。

TensorRT 2.1關鍵特性：(1)、支持自定義層；(2)、INT8支持以用于性能改進；

(3)、提供遞歸神經網絡(LSTM(Long Short-Term Memory)、GRU(Gated Recurrent Unit))實現；(4)、”original” RNN層實現。

2017年9月，NVIDIA發布了神經網絡推理加速器TensorRT3，TensorRT 3是一款針對人工智能應用生產部署的高性能優化編譯器和運行時引擎，

用于在生產環境中部署深度學習程序。它能夠快速優化、驗證并部署經過訓練的神經網絡，從而在超大型數據中心、嵌入式GPU或車用GPU平臺上開展推理工作。

它能夠確保高度精確的INT8和FP16網絡執行。

TensorRT 3能支持Caffe2、Mxnet、Pytorch、TensorFlow等所有的深度學習框架，將TensorRT 3和NVIDIA的GPU結合起來，

能在所有的框架中進行超快速和高效的推理傳輸，支持圖像和語言識別、自然語言處理、可視化搜索和個性化推薦等AI服務。

借助該推理引擎可以大幅提升云端及包括機器人、無人駕駛汽車在內的終端設備的推理性能，并有效降低成本。

可從 https://developer.nvidia.com/nvidia-tensorrt-download下載TensorRT 1.0和TensorRT2.1.

安裝TensorRT 2.1要求：

(1)、操作系統僅支持Ubuntu14.04或Ubuntu 16.04，目前不支持Windows和Mac；

(2)、安裝的CUDA要求是7.5或8.0;

(3)、有兩種方法安裝TensorRT2.1：通過deb包或者通過tar文件；

(4)、對于顯卡為GTX 750和K1200的用戶需要將CUDA升級到8.0。

TensorRT 2.1用戶指南可以參考：http://docs.nvidia.com/deeplearning/sdk/tensorrt-user-guide/index.html

以上部分內容翻譯于：https://devblogs.nvidia.com/parallelforall/deploying-deep-learning-nvidia-tensorrt/

GitHub：https://github.com/fengbingchun/CUDA_Test

參考

1.CSDN大神原鏈接;

2.TensorRT2;

3.nvidia-tensorrt;

4.Jetson TX1 開發教程;

完

總結

以上是生活随笔為你收集整理的TensorRT简介-转载的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。