你知道哪些情况下不该使用深度学习吗?
生活随笔
收集整理的這篇文章主要介紹了
你知道哪些情况下不该使用深度学习吗?
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
深度學習不適用于什么樣的任務?依我之見,以下這些主要場景的深度學習弊大于利。01低成本或者低承諾問題
深網是非常靈活的模型,有著許多架構和節點類型,優化器和正則化策略。根據應用,你的模型可能會有卷基層(有多寬?使用什么匯集操作?)或者反復結構(有沒有門?);他也有可能很深(沙漏,暹羅或其他許多架構?)又或者只是幾個隱藏的層(有多少個單元?);?它可能使用整流線性單元或其他激活功能;它可能或可能沒有流失dropout(在哪一層?哪一塊?)占比應該是恰當的(l1,l2,或者是某些東西)。這只是一個部分列表,有很多其他類型的節點,連接,甚至丟失的功能等著我們嘗試。這些是調整和架構探索的很多超參數,當訓練大型網絡的一個實例時可能非常耗時。谷歌最近吹噓自己的 AutoML 管道可以自動找到最好的架構,這是非常令人印象深刻的,但仍然需要超過 800 個 GPU,全天候工作數周,這對正常人來說是很難實現的。問題的關鍵在于訓練深網需要大量的成本用于計算和調試。這種費用對于許多日常預測問題并沒有意義,即使調整小型網絡,調整網絡的投資回報率也可能太低。即使有足夠的預算和承諾,也沒有理由不嘗試基準替代方法。你可能會驚喜地發現,線性SVM真的是你需要的。
02解釋和傳達模型參數對一般觀眾的重要性
深網另一個令人詬病的原因是其徒有高預測能力卻很難解釋清楚。盡管最近有很多工具,如 Saliency 地圖和?Activation Differences(https://arxiv.org/abs/1704.02685),對某些領域而言是非常有用的,但它們并不會完全轉移到所有應用程序上。這主要是因為,當你想要確保網絡不會通過記住數據集或專注于特定的虛假特征來欺騙你時,這些工具就能很好地工作,但是對于深層網絡的整體決策來說,仍然難以將每個特征的重要性進行解釋。在這個情況下,沒有什么是可以真正的打敗線性模型的,因為學習的難度與客戶反應有直接的關系。當將這些解釋傳達給需要根據它們作出決定的一般觀眾時,這尤其重要。舉個例子,醫生需要根據不同的數據來作出診斷,變量和結果之間的關系更簡單更直接,醫生則能更好的利用它,而不是低估/高估其價值。此外,有些情況下,模型的準確性(通常是深度學習所擅長的)并不像解釋性那樣重要。比如,決策者可能想知道人口變量對死亡率的影響,可能會對直接近似關系感興趣,而不是預測的準確性。從以上兩個例子,不難看出與更簡單,更加滲透的方法相比,深度學習處于不利地位。
03建立因果機制模型解釋的極端情況是當我們試圖建立一個機械的模型,即一個實際捕獲數據背后的現象的模型。好的例子包括試圖猜測兩個分子(例如藥物,蛋白質,核酸等)是否在特定的細胞環境中相互作用,或者假設特定的營銷策略如何對銷售產生實際的影響。在這個領域沒有什么能真正的擊敗專家的老式貝葉斯方法(可能不完美);他們是我們表達和推斷因果關系的最好方法。Vicarious最近有一些很好的研究證明了為什么更有原則的手段比游戲任務中的深度學習更好。
04從“非機構化”功能中學習
這一條可能有待爭論。我發現深入學習擅長的一個領域是為特定任務找到有用的數據表示。一個很好的例子是上述的詞語嵌入。自然語言具有豐富而復雜的結構,可以通過“上下文感知”來學習,每個單詞都可以用向量來表示并編碼其最常用的內容。為了NLP任務在大型語料庫中學習使用單詞嵌入有時可以在另一個語料庫的特定任務中提升效果。然而,如果所討論的語料庫是完全非結構化的,則可能沒有任何用處。例如,假設你正在查看非結構化的關鍵字列表來對對象進行分類。由于關鍵字不是在任何特定的結構中使用(如在一個句子中),所以字嵌入不太可能有幫助。在這種情況下,數據是真正的一個單詞,這種表示可能足以滿足任務。與此相反的是,如果你預培訓深度學習的話,并且可以更好地捕獲關鍵字相似度,那么字嵌入的代價并不高。不過,我還是寧愿從一個詞包的表示開始,看看能否得到很好的預測。畢竟,這個詞包的每個維度都比對應的字嵌入更容易解讀。深度學習領域現在很熱門,資金充足,并且正在快速發展。當你閱讀一些在論壇上發表的論文的時候,它很可能又經歷了兩三次迭代并且已經不推薦了。對于想入行深度學習,但是還未入行的讀者來講,以上的內容可能過于復雜。基于此,為了讓更多想入行深度學習領域的工程師成為AI工程師的機會。CSDN學院聯合《智能問答與深度學習》圖書的創作團隊,特別針對零基礎想入行深度學習的同學聯合出品了《從零開始深度學習》這門實體書+視頻課課程。PS:課程模式為:實體書+100余節視頻課(書包郵)與視頻課配套的《智能問答與深度學習》這本書,已榮登京東實用性強的10本人工智能工具書。圖片來源于京東好物榜
| 圖書郵寄?|?視頻精講 | 作者帶隊 | 社群答疑 |?掃碼上方二維碼,立即搶購原價199元,限時特惠69元
搜狗CEO王小川對本書也有極高的評價。
圖片來自京東書評為了保證書與視頻課程的配套性,《從零開始深度學習》視頻課的創作團隊采用《智能問答與深度學習》原班創作團隊,并且全部來自頭部互聯網企業。創作團隊介紹學習這門書+課,我能收獲什么?1.102課時、20+小時的課程內容,以及原價¥69 的配套實體書,物超所值。2. 從最基礎的數學基礎講起,夯實基礎,由淺入深,讓你建立系統的知識體系。3. 零基礎也能輕松上手,從基礎學習到真實項目實戰,不用擔心學完沒用。這門課程適合我嗎?1. 我是計算機專業的學生,適合學習這門課程嗎?適合。這門課程不但為你掃清了基礎數學的障礙,而且通過實例的講解,以及一些學習技巧,你可以比別的同學更早的入門深度學習,提升自己的知識儲備,對你今后找實習、找工作都有很大的幫助。?2. 我已經有一定的編程經驗,但不是深度學習,需要學習這門課程嗎?需要。如果你有一定的編程經驗,那么你在學習前兩章內容的時候會容易一些,可以讓你加容易手,而且后面有很實戰的案例,對于擴展知識面,以及轉行都有很不錯的幫助。3. 我不是計算機專業的,但是想轉行,適合學習這門課程嗎?適合。此課程主要針對的就是想轉行,或者對編程沒有基礎的人群而策劃的,從深度學習最為基礎的“基礎數學”開始講起,之后會涉及到python編程以及實戰案例,讓你打好入門深度學習的基礎,建立正確的學習路徑。了解更多課程詳情,請下滑
#課程大綱##現在訂閱有什么福利#1. 原價¥199,限時優惠¥69。2. 現在購課既送王海良老師《智能問答與深度學習》實體書一本。#如何報名#限時特惠:¥69(原價¥199)圖書(包郵)?+?102節視頻課程,每課僅需0.6元? ? ??立即掃碼領取資料包堅持30天,平均一天2塊錢,換你一次進入高薪技術領域的機會如果對課程有疑問歡迎掃碼回復“1”進課程咨詢群?? ? ?立即掃碼領取資料包點擊閱讀原文“69元立即搶購書+視頻課”你點的每個“在看”,我都認真當成了喜歡
深網是非常靈活的模型,有著許多架構和節點類型,優化器和正則化策略。根據應用,你的模型可能會有卷基層(有多寬?使用什么匯集操作?)或者反復結構(有沒有門?);他也有可能很深(沙漏,暹羅或其他許多架構?)又或者只是幾個隱藏的層(有多少個單元?);?它可能使用整流線性單元或其他激活功能;它可能或可能沒有流失dropout(在哪一層?哪一塊?)占比應該是恰當的(l1,l2,或者是某些東西)。這只是一個部分列表,有很多其他類型的節點,連接,甚至丟失的功能等著我們嘗試。這些是調整和架構探索的很多超參數,當訓練大型網絡的一個實例時可能非常耗時。谷歌最近吹噓自己的 AutoML 管道可以自動找到最好的架構,這是非常令人印象深刻的,但仍然需要超過 800 個 GPU,全天候工作數周,這對正常人來說是很難實現的。問題的關鍵在于訓練深網需要大量的成本用于計算和調試。這種費用對于許多日常預測問題并沒有意義,即使調整小型網絡,調整網絡的投資回報率也可能太低。即使有足夠的預算和承諾,也沒有理由不嘗試基準替代方法。你可能會驚喜地發現,線性SVM真的是你需要的。
02解釋和傳達模型參數對一般觀眾的重要性
深網另一個令人詬病的原因是其徒有高預測能力卻很難解釋清楚。盡管最近有很多工具,如 Saliency 地圖和?Activation Differences(https://arxiv.org/abs/1704.02685),對某些領域而言是非常有用的,但它們并不會完全轉移到所有應用程序上。這主要是因為,當你想要確保網絡不會通過記住數據集或專注于特定的虛假特征來欺騙你時,這些工具就能很好地工作,但是對于深層網絡的整體決策來說,仍然難以將每個特征的重要性進行解釋。在這個情況下,沒有什么是可以真正的打敗線性模型的,因為學習的難度與客戶反應有直接的關系。當將這些解釋傳達給需要根據它們作出決定的一般觀眾時,這尤其重要。舉個例子,醫生需要根據不同的數據來作出診斷,變量和結果之間的關系更簡單更直接,醫生則能更好的利用它,而不是低估/高估其價值。此外,有些情況下,模型的準確性(通常是深度學習所擅長的)并不像解釋性那樣重要。比如,決策者可能想知道人口變量對死亡率的影響,可能會對直接近似關系感興趣,而不是預測的準確性。從以上兩個例子,不難看出與更簡單,更加滲透的方法相比,深度學習處于不利地位。
03建立因果機制模型解釋的極端情況是當我們試圖建立一個機械的模型,即一個實際捕獲數據背后的現象的模型。好的例子包括試圖猜測兩個分子(例如藥物,蛋白質,核酸等)是否在特定的細胞環境中相互作用,或者假設特定的營銷策略如何對銷售產生實際的影響。在這個領域沒有什么能真正的擊敗專家的老式貝葉斯方法(可能不完美);他們是我們表達和推斷因果關系的最好方法。Vicarious最近有一些很好的研究證明了為什么更有原則的手段比游戲任務中的深度學習更好。
04從“非機構化”功能中學習
這一條可能有待爭論。我發現深入學習擅長的一個領域是為特定任務找到有用的數據表示。一個很好的例子是上述的詞語嵌入。自然語言具有豐富而復雜的結構,可以通過“上下文感知”來學習,每個單詞都可以用向量來表示并編碼其最常用的內容。為了NLP任務在大型語料庫中學習使用單詞嵌入有時可以在另一個語料庫的特定任務中提升效果。然而,如果所討論的語料庫是完全非結構化的,則可能沒有任何用處。例如,假設你正在查看非結構化的關鍵字列表來對對象進行分類。由于關鍵字不是在任何特定的結構中使用(如在一個句子中),所以字嵌入不太可能有幫助。在這種情況下,數據是真正的一個單詞,這種表示可能足以滿足任務。與此相反的是,如果你預培訓深度學習的話,并且可以更好地捕獲關鍵字相似度,那么字嵌入的代價并不高。不過,我還是寧愿從一個詞包的表示開始,看看能否得到很好的預測。畢竟,這個詞包的每個維度都比對應的字嵌入更容易解讀。深度學習領域現在很熱門,資金充足,并且正在快速發展。當你閱讀一些在論壇上發表的論文的時候,它很可能又經歷了兩三次迭代并且已經不推薦了。對于想入行深度學習,但是還未入行的讀者來講,以上的內容可能過于復雜。基于此,為了讓更多想入行深度學習領域的工程師成為AI工程師的機會。CSDN學院聯合《智能問答與深度學習》圖書的創作團隊,特別針對零基礎想入行深度學習的同學聯合出品了《從零開始深度學習》這門實體書+視頻課課程。PS:課程模式為:實體書+100余節視頻課(書包郵)與視頻課配套的《智能問答與深度學習》這本書,已榮登京東實用性強的10本人工智能工具書。圖片來源于京東好物榜
| 圖書郵寄?|?視頻精講 | 作者帶隊 | 社群答疑 |?掃碼上方二維碼,立即搶購原價199元,限時特惠69元
搜狗CEO王小川對本書也有極高的評價。
圖片來自京東書評為了保證書與視頻課程的配套性,《從零開始深度學習》視頻課的創作團隊采用《智能問答與深度學習》原班創作團隊,并且全部來自頭部互聯網企業。創作團隊介紹學習這門書+課,我能收獲什么?1.102課時、20+小時的課程內容,以及原價¥69 的配套實體書,物超所值。2. 從最基礎的數學基礎講起,夯實基礎,由淺入深,讓你建立系統的知識體系。3. 零基礎也能輕松上手,從基礎學習到真實項目實戰,不用擔心學完沒用。這門課程適合我嗎?1. 我是計算機專業的學生,適合學習這門課程嗎?適合。這門課程不但為你掃清了基礎數學的障礙,而且通過實例的講解,以及一些學習技巧,你可以比別的同學更早的入門深度學習,提升自己的知識儲備,對你今后找實習、找工作都有很大的幫助。?2. 我已經有一定的編程經驗,但不是深度學習,需要學習這門課程嗎?需要。如果你有一定的編程經驗,那么你在學習前兩章內容的時候會容易一些,可以讓你加容易手,而且后面有很實戰的案例,對于擴展知識面,以及轉行都有很不錯的幫助。3. 我不是計算機專業的,但是想轉行,適合學習這門課程嗎?適合。此課程主要針對的就是想轉行,或者對編程沒有基礎的人群而策劃的,從深度學習最為基礎的“基礎數學”開始講起,之后會涉及到python編程以及實戰案例,讓你打好入門深度學習的基礎,建立正確的學習路徑。了解更多課程詳情,請下滑
#課程大綱##現在訂閱有什么福利#1. 原價¥199,限時優惠¥69。2. 現在購課既送王海良老師《智能問答與深度學習》實體書一本。#如何報名#限時特惠:¥69(原價¥199)圖書(包郵)?+?102節視頻課程,每課僅需0.6元? ? ??立即掃碼領取資料包堅持30天,平均一天2塊錢,換你一次進入高薪技術領域的機會如果對課程有疑問歡迎掃碼回復“1”進課程咨詢群?? ? ?立即掃碼領取資料包點擊閱讀原文“69元立即搶購書+視頻課”你點的每個“在看”,我都認真當成了喜歡
總結
以上是生活随笔為你收集整理的你知道哪些情况下不该使用深度学习吗?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 立讯精密是国企还是私企
- 下一篇: 平安信用卡账单日修改