cuDNN概述
NVIDIACUDA?深度神經網(wǎng)絡庫（cuDNN）是GPU加速的用于深度神經網(wǎng)絡的原語庫。cuDNN為標準例程提供了高度優(yōu)化的實現(xiàn)，例如向前和向后卷積，池化，規(guī)范化和激活層。
全球的深度學習研究人員和框架開發(fā)人員都依賴cuDNN來實現(xiàn)高性能GPU加速。它使他們可以專注于訓練神經網(wǎng)絡和開發(fā)軟件應用程序，而不必花時間在底層GPU性能調整上。cuDNN的加快廣泛使用的深度學習框架，包括Caffe2，Chainer，Keras，MATLAB，MxNet，PyTorch和TensorFlow。已將cuDNN集成到框架中的NVIDIA優(yōu)化深度學習框架容器，訪問NVIDIA GPU CLOUD了解更多信息并開始使用。

8x Tesla V100 + cuDNN 7.6 on 20.03 NGC container vs. 8x Tesla A100 + cuDNN 8.0 Preview on Pre-Release NGC container. MaskRCNN, PyTorch TF32 vs FP32, Batch Size: 8. GNMT, PyTorch TF32 vs FP32, Batch Size: 512. WaveGlow, PyTorch TF32 vs FP32, Batch Size: 10. U-Net Medical, TensorFlow FP16 (Mixed) vs FP16, Batch Size: 16. U-Net Industrial, TensorFlow FP16 (Mixed) vs FP16, Batch Size: 24. TacoTron2, PyTorch FP16 (Mixed) vs FP16, Batch Size: 128.
cuDNN 8的新增功能
cuDNN 8針對A100 GPU進行了優(yōu)化，提供了比V100 GPU高出5倍的高性能，并且包括針對會話AI和計算機視覺等應用程序的新優(yōu)化和API。經過重新設計，易于使用，集成應用程序，并為開發(fā)人員提供了更大的靈活性。
cuDNN 8的亮點包括：
? 已針對包括新TensorFloat-32，FP16和FP32在內的NVIDIA A100 GPU的峰值性能進行了調整
? 重新設計的低級API可直接訪問cuDNN內核，以實現(xiàn)更好的控制和性能調整
? 向后兼容層保持對cuDNN 7.x的支持，使開發(fā)人員可以管理向新cuDNN 8 API的過渡
? 針對計算機視覺，語音和語言理解網(wǎng)絡的新優(yōu)化
? 融合運算符以新API加速卷積神經網(wǎng)絡
cuDNN 8現(xiàn)在提供六個較小的庫，可在集成到應用程序時提供粒度。
主要特征
? 適用于所有常見卷積的Tensor Core加速，包括2D，3D，分組，深度可分離以及使用NHWC和NCHW輸入和輸出進行擴張
? 針對計算機視覺和語音模型的優(yōu)化內核，包括ResNet，ResNext，SSD，MaskRCNN，Unet，VNet，BERT，GPT-2，Tacotron2和WaveGlow
? 支持FP32，FP16和TF32浮點格式以及INT8和UINT8整數(shù)格式
? 4d張量的任意維排序，跨距和子區(qū)域意味著可以輕松集成到任何神經網(wǎng)絡實現(xiàn)中
? 加速任何CNN架構上的融合操作
cuDNN在Windows和Linux上受數(shù)據(jù)中心和移動GPU中的Ampere，Turing，Volta，Pascal，Maxwell和Kepler GPU體系結構支持。

cuDNN加速框架

總結

以上是生活随笔為你收集整理的cuDNN概述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。