問題

在很多情況下我們都能看到代碼里有這樣一行：

1	torch.backends.cudnn.benchmark = true

而且大家都說這樣可以增加程序的運行效率。那到底有沒有這樣的效果，或者什么情況下應該這樣做呢？

解決辦法

總的來說，大部分情況下，設置這個 flag 可以讓內置的 cuDNN 的 auto-tuner 自動尋找最適合當前配置的高效算法，來達到優化運行效率的問題。

一般來講，應該遵循以下準則：

如果網絡的輸入數據維度或類型上變化不大，設置??torch.backends.cudnn.benchmark?=?true? 可以增加運行效率；

如果網絡的輸入數據在每次 iteration 都變化的話，會導致 cnDNN 每次都會去尋找一遍最優配置，這樣反而會降低運行效率。

這下就清晰明了很多了。

總結

以上是生活随笔為你收集整理的cudnn.benchmark = True？是什么意思的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。