旷视计划3月底开源深度学习框架,AI开发生态有望焕发新生机
從手機中常被調戲的語音助手,到家里自動播報天氣的智能音箱,到倉庫內高效搬運貨物的機器人,人工智能事實上已經“活躍”在生活和工作的方方面面。
在大眾語境中,人工智能是“靈丹妙藥”,原本笨拙的計算機軟件程序加上它,似乎就變得智能起來。但事實上,“人工智能”只是一個籠統的概念,真正起作用的,其實是人工智能領域的一個具體技術方法——深度學習。
站在如今的時間節點回溯這場生產力變革,深度學習以及深度學習框架的重要性,再怎么強調也不為過。
深度學習是什么?深度學習框架又有什么用?
回顧人工智能的發展,每一次方法論的迭代都是為解決先前方法的問題。
20 世紀 80、90 年代,人工智能的實現方法是“模式識別”。這種方法需要專家為每一個問題編寫出一個專門的程序,效率并不高。
(模式識別中,一個字符 “3” 的圖像被劃分為 16 個子塊)
90 年代初,科學家們開始意識到一種更有效地構建模式識別算法的方法,那就是用數據去替換專家。收集大量的數據,然后人工提取數據特征,接著“喂”給計算機,計算機學習數據中的規律,形成一個算法——這種人工智能方法叫做“機器學習”。
在解決簡單任務時,機器學習簡單有效,但如果涉及數據量大的復雜任務,主要依靠人工提取特征的機器學習就難以勝任了。
為了彌補機器學習的短板,科學家們參考人類大腦的神經網絡,在機器學習的基礎上,打造了深度學習方法。
深度學習的特征提取并不依靠人工,而是交給了機器,相比機器學習極大提升了效率,人工智能行業這才有了蓬勃發展。
如果以從屬關系來看,機器學習是人工智能的一種具體實現方法,而深度學習則是機器學習的一個技術分支。
雖然人工神經網絡和生物神經網絡只是在結構上相似,在工作機制上沒有太多相同之處,但深度學習很多算法中依然包含“神經網絡”這個詞,比如經典的卷積神經網絡(CNN)和循環神經網絡(RNN)。
卷積神經網絡被普遍應用在圖片識別領域,如你手機相冊里的人臉分類。循環神經網絡則是機器翻譯準確率大大提升的功臣。
從深奧的神經網絡,到手機相冊人臉分類這樣實際生產應用,深度學習技術的落地過程涉及到多個不同的步驟和工具。
如果從頭開始設計一個神經網絡模型,需要開發人員對底層技術非常了解。這相當于把很多對深度學習感興趣的開發者和公司拒之門外。
即使開發者對深度學習底層技術了如指掌,從零開始設計神經網絡結構的耗時通常按周和月計,容易讓人失去耐心。
因此,有的公司和科研機構就底層語言和重要的神經網絡模型進行了封裝,“打包”給開發者使用。開發者不必太過操心底層的技術,只需要通過調用頂層的 API 就可以應用深度學習神經網絡。
這種封裝了底層語言和重要模型的工具,被稱之為“深度學習框架”。好比你要炒一盤菜,不會從研究怎么制造鍋或鏟開始,而是直接拿現成的用。對于打造一個深度學習應用,數據相當于食材,算法相當于菜譜,而深度學習框架就類似于鍋和鏟了。
有業內人士如此形容深度學習框架的重要性:在人工智能時代,深度學習框架就是人工智能時代的“操作系統”,起到了承上啟下的作用,上承各種業務模型、行業應用,下接芯片、大型計算機系統。
簡而言之,深度學習是一把利刃,但沒有輔助工具,很少人會用。借助深度學習框架這個工具,采用這把利刃的門檻大大降低,用的人多了,才有了如今的人工智能浪潮。
缺失國產深度學習框架,和缺少芯片一樣是 “卡脖子” 問題
深度學習框架的競爭,已經成為人工智能競賽的制高點。世界范圍內,市場主流的開源深度學習框架大多數是國外廠商或機構主導,比如 Google 的 TensorFlow 和 Facebook 的 PyTorch 占據了大部分市場份額。
在中國,開發者也高度依賴國外的開源框架。2019 年 7 月,長江商學院經濟學教授許成鋼在一堂課上給出了一個數據,幾乎 93% 的中國研究者使用的人工智能開源軟件包,是美國的機構開發提供的。
這無疑是一個不好的信號,高度依賴國外的開源深度學習框架相當于被“卡住了脖子”。
近幾年,中國人工智能應用領域發展非常迅猛,但這更多得益于龐大用戶量產生的數據紅利。深度學習框架好比人工智能產業的地基,縱使蓋出了再高的樓,沒有自己的地基,也有非常大的崩塌風險。
類似的情況已經在芯片領域發生。2015 年,國防科技大學主導的超級計算機 “天河二號”,因英特爾至強處理器斷供,打斷了原定升級計劃。被 “卡住脖子” 的天河二號,在 2018 年借助中國自研的 Matrix-2000 加速卡才完成升級。
2019 年,華為海思總裁一份致員工信廣為傳播:多年前,公司做出了極限生存的假設,預計有一天,所有美國的先進芯片和技術將不可獲得。為了這個以為永遠不會發生的假設,數千海思兒女為公司的生存打造 “備胎”。今天,曾經打造的備胎,一夜之間全部轉 “正”!
在深度學習框架領域,也有必要做出類似華為海思這樣的極限生存假設:如果有一天 TensorFlow 這些國外的深度學習框架不再開源,中國的人工智能開發者有什么替代方案?
“卡脖子” 問題的新答案:曠視將開源深度學習框架 MegEngine
事實上,不少中國企業都意識到了這個問題,也交出了解決方案。比如百度的 Paddle Paddle 和華為的 MindSpore。
有業內人士透露,很快人工智能開發者又有多一個選擇:曠視將于 3 月底開源其人工智能算法平臺 Brain++ 的核心深度學習框架——MegEngine,主要面向高校師生、傳統產業和中小企業的 AI 開發者。
相比大部分深度學習框架,MegEngine 特別針對計算機視覺進行深度優化,不僅支持大規模分布式訓練,且兼容 Pytorch、學習成本低。在曠視內部,MegEngine 主要就是用于計算機視覺領域的開發。據曠視研發同學稱,即便是新同學不到 1 個月就可以快速上手。
在架構上,MegEngine 共分為“計算引擎”、“運行時管理”、“編譯和優化”、以及“編程和表示”四個層級。
計算引擎以 MegDNN 為核心,發揮計算作用。MegDNN 是一個基于異構架構,有著統一交互方法的內核,可以根據設備本身啟發式地選擇最優內核,也可以讓用戶自己選擇最適合的內核進行計算。
運行時管理層包括兩個模塊,分別是內核調度和內存管理和優化兩大模塊。在內存管理和優化模塊中,MegEngine 采用了動態、靜態內存分配并存的方式,因此可同時支持動態圖和靜態圖模式。
而在編譯層和優化層,MegEngine 使用了基于計算圖的編譯和優化方法。
事實上,2013 年推出的 Caffe 采用了配置文件方式表達網絡結構,在當時已經難以滿足開發一些大型神經網絡的需要。后來,TensorFlow 2015 年發布時,采用了計算圖的方式,很好適應了大型神經網絡開發的發展。而值得一提的是,MegEngine 在 2014 年開發之初,也采用了計算圖的方式。
(TensorFlow 的計算圖)
MegEngine 最頂層的編程和表示層,支持高級編程語言(如 Python),方便用戶交互,一方面更容易上手,另一方面使新算法移植更便捷。
隨著曠視業務的發展,曠視 MegEngine 也在不斷進化,比如引進 AutoML 技術。AutoML 全稱是 Automated Machine Learning(自動機器學習),核心理念是讓算法來訓練算法,最大程度減少人力。
在曠視的規劃中,研究院最想做的事情是構建一個三位一體的人工智能算法平臺,能夠為開發者們提供端到端的解決方案和高效的開發體驗。從 2014 年寫下 MegEngine 的第一行代碼開始,這項意義非凡的工作就開始了。
曠視首席科學家和研究院院長孫劍在一次公開演講中表示:“我們做深度學習框架的時候還沒有 TensorFlow,而我們自己的第一版出來之后 TensorFlow 才發布。當時 TensorFlow 不算很成熟,所以一直用自己的開發工具和平臺。”
隨著研發的拓展,MegEngine 經歷了 8 版迭代。同時曠視在核心的深度學習框架上發展出了自有的技術生態,MegEngine 演進成了 Brain++——一個涵蓋了深度學習算法開發的所有環節的人工智能算法平臺,針對數據管理,算力調度和深度學習訓練框架,分別構建了三個組成部分:MegData(數據管理平臺)、MegCompute(深度學習云計算平臺 )和即將開源的 MegEngine(深度學習框架)。
對于曠視來說,Brain++ 對底層研發的支持就是解決了企業核心生產力的問題,這個端到端的開發工具讓曠視能夠規模化實現算法創新。也正是借助 Brain++ 這個自研的人工智能算法平臺,成立十年的曠視取得了領先業界的成績。
學術領域,Brain++ 幫助曠視獲得了 27 個世界級的人工智能競賽冠軍,其中包括 2017 年至 2019 年拿下 COCO 三連冠。COCO 是人工智能領域最具影響力的通用物體檢測挑戰賽,在計算機視覺領域享有很高聲譽。
(曠視獲獎證書 @COCO 2019)
產業方面,曠視依靠 Brain++ 布局了個人物聯網、城市物聯網和供應鏈物聯網三個領域。每個領域,曠視都扎得足夠深入。
比如,在個人物聯網領域,Face++ 已經是人臉識別領域的行業標桿。在供應鏈物聯網領域,曠視的客戶心怡科技,借助 Brain++,實現雙 11 當天拆零出倉八萬多箱貨物,刷新了單倉機器人集群作業的行業記錄。
在學術和產業端都證明了自身價值后,Brain++ 也獲得了國家的認可。2019 年 8 月,科技部宣布依托曠視建設 “圖像感知國家新一代人工智能開放創新平臺”,而這一開放創新平臺的核心,正是 Brain++。同年 10 月,Brain++ 在世界互聯網大會上被授予 “世界互聯網領先科技成果”。
回到 MegEngine,一個已經在學術界和產業界都證明了自己實力的深度學習框架,在 3 月底開源給業界使用,無疑是重大利好。面對“如果國外深度學習框架不再開源”這個假設,中國的人工智能開發者已經無需擔心。
總結
以上是生活随笔為你收集整理的旷视计划3月底开源深度学习框架,AI开发生态有望焕发新生机的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 飞猪:2020年疫情后旅行消费信心 28
- 下一篇: 是谁抹去了苹果2.3万亿的市值?