聚焦CSDN技术主题月:深度学习框架的重构与思考专场回顾
10月15日下午,在北京兆維大廈,由CSDN社區主辦的技術主題月系列之——《深度學習框架的重構與思考》活動成功舉辦。CSDN邀請了用友暢捷通人工智能負責人張俊林、創業公司大數據總監周步戀、亮風臺高級算法研究員史信楚、IBM中國研究院高級研究員薛超共同圍繞“深度學習”這個熱點話題,分享了深度學習方向創業、 深度學習如何教機器學會閱讀理解、 深度學習與AR的結合、 分布式深度學習做監測分析以及優化等議題。近200位開發者利用周末參加了本次活動,現場提問踴躍,嘉賓互動很有深度。
CSDN產品運營姚前擔任活動主持人
創業公司大數據總監周步戀:深度學習方向創業
開篇周步戀為開發者深入介紹了幾個概念:機器學習、深度學習、人工智能。
- 其中人工智能是最大的概念。這些年來IT屆所關注的數據挖掘、深度學習、機器學習、自然語言,各種統計概率,很多機器的高并發,各種運算,其追求的本質可以說就是人工智能。人工智能不是一兩天就能達到,有可能要幾十年、幾百年,甚至能不能達到現在很多人還在論證。
- 機器學習是實現人工智能最普遍的方法,在這十幾年來在搜索中用得比較多,概括來說就是使用算法分析數據、實踐、學習,然后對真實的事實做出決策或預測。
- 深度學習就是機器學習的一種方法。有了深度學習這幾年技術突破,人工智能將可能被帶向原來教科書上的概念,生活中很多行業,包括醫療、互聯網安全,包括搜索、旅游各種服務都會提升。深度學習是最小的范圍,但是深度學習可能影響最廣大。
接著,周步戀為開發者展示了深度學習的國外創業圖譜。
并對以下幾點進行淺析:
最后,周步戀對深度學習的未來做了如下幾點暢想:
提問環節,周步戀針對樣本的獲取問題回答開發者的提問:
開發者:您剛才說樣本的問題,樣本搭建國內有沒有提供。
周步戀:樣本做不同領域樣本可能不一樣,現在尤其做數據公司把數據視為核心的資產,現在數據開放在國內基本做不到,因為數據是他的資產,很多公司僅僅是抱著數據就能讓自己過得很好。
開發者:現在獲得數據源非常少,做深度學習樣本非常少。
周步戀:所以現在做深度學習還要在大公司,或者某個領域拿到垂直的數據,拿到醫療創業必須拿到現在醫院診療數據,如果僅僅去想就沒法做。
用友暢捷通人工智能負責人張俊林:深度學習如何教機器學會閱讀理解
張俊林首先為開發者分享了他所感興趣的幾個話題:
張俊林此次分享主要圍繞著第三點,即閱讀理解展開。深度剖析了如下幾個方面:
最后,張俊林對深度學習的閱讀理解做了總結與展望:
深度學習做機器閱讀理解時間也就一年,可以說進展已經很大了,一年時間出了至少幾十個模型出來。但是問題在,首先數據集合有問題,現在數據集合有幾類,一類要不規模太小,學習神經網絡包含這么多參數的模型一定沒辦法做復雜模型的。第二很多數據是人工合成的。第二個模型單一,根據剛才歸納就是一維、二維、推理模型。第一二維模型需要更深入探索,二維模型就是Attention,實際你還可以有很多探索做,包括匹配函數,包括二維匹配模型都是非深度的,你可以套深度的用一下。
世界知識的引入,對于人真正想理解一篇文章,世界知識一定要,就是人分男人女人,但是機器是不知道的,剛開始為了簡化問題把世界知識排除在外,但是隨著像人一樣達到閱讀理解程度必須把世界知識引入到模型里來。推理機制需要完善,說到底核心就是注意力焦點不斷轉移,還是比較單一,這還需要有新的機制推出來。
亮風臺高級算法研究員史信楚:深度學習與AR的結合
首先,史信楚對亮風臺技術及AR/VR技術做了簡要的介紹。并著重對AR關鍵技術的三個部分做了講解:
IBM中國研究院高級研究員薛超:分布式深度學習做監測分析以及優化
首先,薛超為開發者分析了傳統的機器學習與深度學習的不同、分類器、貝葉斯網絡、決策樹等概念。
簡單介紹后,進入巡查哦本次分享的核心問題:分布式如何作為分布式的拓展,并主要介紹在SPARK怎么進行分布式拓展。
這是著名的SPARKNet,如果大家對SPARK稍微知道一點就能明白,很多工作跑著,跟MASTER通信,每次疊加結束之后把數據傳給它,master做簡單平均分后,發回來再做下一次。這瓶頸是非常大的,因為傳輸量非常大,而且單點問題比較壓力,master壓力也非常嚴重。這種情況下分布式計算跟一臺機計算效果如果設不好,還不如一臺機計算。所以伯克利做SPARKNet就把傳統做了優化,就是別每次都傳了,隔一段時間傳我一次,但是如果隔一段時間傳就是同步和異步的折中,完全異步可能不收斂了,在保證這些東西收斂情況下盡量增大傳輸間隔。這兩個公式可以算最后的時間。于是,給出了測試結果,發現想跑成三倍快的效率需要六臺機器,隔多長時間通信一次這里也有說明,大概什么情況下效率最好。這個圖看到SPARKNet更為平緩了,如果SPARK做深度學習是首選,開發這個人跟做SPARK是一撥人,未來會不會加入SPARK上也是非常期待值得。但是不可避免瓶頸在SPARK是有的,這跟控制通信的。
并介紹了雅虎的CaffeOnSPARK
很多公司深度學習數據在一起,機器學習數據在一起,數據本身就是并行,而不是算法并行的。這是以前的一個問題,雅虎說,以前數據預處理的時候做準備,數據搬到深度學習上去,把模型算好又回來,這里有來回的數據遷移,大規模應用肯定是很大的瓶頸。說能不能想都用Hadoop存這些數,都用它操作深度學習,當然這個想法是非常好的。那你需要在SPARK支持深度學習,你把它看成應用,跟MLLib一樣,試圖寫這樣的庫。跟剛才的圖是完全不一樣的,它避開了單點失效的問題,是用MPI分布式方法,通過互相傳輸通信。當然了有LMA提高通信速度做同步,它也有自己的方法。這種剛出來大家覺得這個想法非常好,這個東西儼然就是趨勢,但是后來也是沒有搞成,但是思想還是很值得大家借鑒,沒有搞成原因主要因為MPI東西不好管理。SPARK雖然種種不是,但是最大好處是容錯,SPARK算錯之后可以容錯,可以回來,可以再算。但是如果MPI管理怎么管是大問題。第二個因為雅虎公司跟谷歌不一樣,所以說維護人員也會變得很少,在推薦下面就漸漸落下風。
接下來,薛超向開發者解讀了深度學習的趨勢:
最后,薛超向研發者介紹了通過實踐所涉及的Hyperparameter的選擇。
總結
以上是生活随笔為你收集整理的聚焦CSDN技术主题月:深度学习框架的重构与思考专场回顾的全部內容,希望文章能夠幫你解決所遇到的問題。