贾扬清：如何看待人工智能方向的重要问题？【相辅相成不可或缺的两位“大数据和AI”】
導讀：今天的內容由阿里CIO學院攻“疫”技術公益培訓賈揚清專場整理而來。直播中賈揚清向大家分享了人工智能的工程和產品實踐，首先介紹了什么是人工智能以及人工智能的應用；然后和大家一起探討了人工智能系統中的重要問題，如算法創新背后的算力突破、云上平臺能提供的價值；最后給大家剖析了大數據和人工智能之間的關系，作為一個企業應該如何擁抱AI以及智能化年底企業布局的重點。
?
一、人工智能算法
?
目前，AI（人工智能）已經成為科技產業大趨勢。各個行業都與“AI”密切相關。與AI相關的領域如下圖所示，其中包括與AI強相關的領域和AI間接賦能的的領域。那么究竟什么是人工智能、人工智能的應用以及人工智能系統將在之后一一介紹。
?
?
人工智能發展的80年，實現了從圖靈測試到全民換臉。機器是通過人工智能像人一樣來回答問題、創作或者計算分析的，在一些領域，計算機已經能夠做的和人一樣優秀。例如在2019年網絡上的“全民換臉”都是基于人工智能中的深度學習及神經網絡等技術的廣泛應用的結果。
?
?
目前，人們生活中以及工業生產中都有很多“AI”技術的應用，用來代替人類的工作。例如比較流行的“ELON MUSK’S”能夠模擬人的大腦工作。但隨著人工智能的快速發展，也出現了一些對人工智能的反思和一些“假冒AI”。
?
?
人工智能AI在發展過程中面臨了一系列的事件，其中有比較嚴重的假冒偽劣AI騙取2億融資的事件。那么人工智能究竟是什么以及它的用途主要有哪些是接下來要重點討論的問題。
?
?
在學術界，人工智能的定義也有所差異。人工智能是接受輸入的信息，通過信息的整理判斷，像人一樣對輸入的信息做出一系列理性行為和決策。它的主要特征就是“理性的行動”。
?
?
在這個“感知”到“決策”的反饋中，如何感知外部世界信息成為人工智能能否去行動的關鍵。既然是要模擬人的大腦，那人去感知的過程其實是一個認識和學習的過程。那也就是人工智能中“深度學習”所要解決的問題。
?
?
深度學習
?
只有將外部信息（視頻，文字，口令等）轉換成機器語言才能被人工智能所接受并作出反應。這個問題的思考早在人工智能初期就被科學家所考慮和研究。
?
?
在這之后人們開始討論如何通過視覺感知來完成信息的輸入，并做了很多研究。2012年，加拿大多倫多大學的ImageNet競賽冠軍獲得者Hinton和他的學生Alex Krizhevsky設計的。也是在那年之后，更多的更深的神經網絡被提出，比如優秀的vgg,GoogLeNet。這對于傳統的機器學習分類算法而言，已經相當的出色。
?
AlexNet開始的深度學習歷程：
?
通俗的說，就是在大量的物體中，準確地識別我們指令中需要的物體。這個模型的應用使得圖像識別領域取得了突飛猛進的發展，并被廣泛應用。
?
?
神經網絡這種分層學習的模式跟我們人類大腦一樣，隨著不斷地學習，神經網絡也變得越來越復雜。假設要在百萬級的圖片信息中找已標注的信息“貓”，然后把編輯好的視覺網絡的模型在一個非常大的數據集中訓練。通過模型的迭代實現更復雜的訓練。
?
?
目前，比較普遍使用的“RestNet模型”，深度在一百多層，并加入了一些最新的科研成果,例如最下面圖中如拱橋部分的快速鏈接，可以有效快速的訓練如此深的網絡。最終解決視覺領域的“感知”問題。
?
?
阿里云：智慧航空機坪管理
?
通過人工智能來識別機種，登機門，機場車輛，并與實際地圖結合起來，以及了解飛機在飛行過程中的運行軌跡等等，這些信息都可以作為輸入的信息來通過人工智能管理，使得機場運轉更加快捷和高效。
?
?
上面所說的，深度學習是感知的一個重要形式和方法。深度學習算法主要組成：
?
-
數據標注
-
算法模型開發
-
高性能分布式訓練
-
模型調優
-
模型部署
?
人工智能在“感知”之后，另一個需要做的就是“決策”。深度學習是一個黑箱操作，能夠很好地學習和感知外部信息，但是不能給出反饋及如何解釋自己感知的問題究竟是什么原因。那就需要“決策”來分析和反饋。
?
?
傳統機器學習的榜樣是決策樹算法和邏輯回歸。例如，銀行發放貸款的過程就是一個權衡各方面因素之后的一個決策過程。可以通過決策樹的形式，進行“Yes”或“No”的判斷來最終決定是否發放貸款。而邏輯回歸，指的是兩類數據之間的相互關系，通過數學的方式精確求解。
?
?
其實，深度學習和機器學習是一種互補的狀態。深度學習非常好地解決了感知的問題（計算機視覺，語音等等），可以用神經網絡的架構來解決非常多的“感知”的問題，但它需要解釋這些感知的東西。而傳統機器學習則沒有這么人性化的感知功能，但它的模型相對較小，我們可以直接解釋（例如金融，風控等）。
?
?
人工智能很早便被應用在廣告領域中。早在宋朝就有廣告，用來幫助來招攬生意。
?
?
目前比較典型的廣告場景是淘寶廣告。廠家首先通過消費者個人的瀏覽信息了解用戶的喜好是什么，然后再通過智能推薦系統來推送消費者所搜索的相關產品。這樣的一些智能算法的廣泛應用使得用戶的信息瀏覽更加高效和精細化。
?
?
無論是感知還是決策，都和算法相關。
?
-
感知。與深度學習算法相關，涉及到數據標注、算法模型開發、高性能分布式訓練、性能調優、模型部署等。
-
決策。傳統機器學習算法以及深度學習算法相關，涉及到行業行為數據采集、結構化/非結構化數據處理、數據和算法的組合建模、算法開發訓練和調優、模型部署和實時訓練反饋等。
?
?
二、人工智能系統
?
在算法發展迅猛的今天，相應的基礎設施支持也顯得尤為重要，這就需要人工智能系統的支持。構建人工智能或者機器學習系統的兩個不可或缺的因素是算法和算力，算法創新的背后是算力的突破。
?
截止到2019年，人工智能對于算力的需求如下圖所示。相較于AlphaGo Zero，AlexNet對于算力的需求已經有了30萬倍的增長。這種情況下解決算法迭代和算法落地的問題，給系統提出了更高的要求。
?
?
AlexNet在2013年的時候所謂的系統如下圖所示，簡單的一臺機器加GPU，當時的訓練成本大約是七天每天500瓦，也就是業務模型的迭代周期是一周左右。
?
?
在業務需要飛速發展的今天，比如廣告推薦，一周的模型迭代周期是遠不能滿足需求的。因此，目前越來越多的人關注如何通過大規模集群或者芯片的方式來為人工智能系統提供更好的算力。MIT在2014年的時候做了一個對比，一個人在一分鐘內大概可以處理77張圖片，單個GPU相同的時間內可以處理230張，盡管單個GPU的處理速度與人的處理速度相差不大，但是其可以通過GPU集群的方式實現更大規模更快速的計算，比如下圖中512個GPU的集群，可以在一分鐘內處理60000張圖片。
?
?
人工智能系統在設計的過程中需要關注怎么樣做高性能存儲，怎么樣實現機器之間的快速通信，怎么樣保持分布式集群的穩定性。今天，阿里云內部有一個Eflops平臺，可以實現三鐘內1018次的計算，耗電128千瓦每分鐘。這是在2015年以前是無法想象的能力，這一能力的實現主要歸功于大規模集群，還有系統底層芯片的伸縮性。
?
?
目前國內很多家企業致力于更高性能芯片的研發，阿里也不例外。2019年，阿里發布了全球最高性能的AI推理芯片含光800，并在城市大腦和航空大腦的實際測試場景中進行了測試，峰值性能可以達到將近80萬張圖片每秒，這與上一代的芯片相比，實現了40倍左右的性能提升。
?
?
系統復雜度上升后，會帶來一系列的問題，包括軟件復雜度、硬件復雜度、資源管理復雜度、調度效率復雜度、全系統優化復雜度，這在系統發展過程中是比較共性的挑戰。
?
?
需要強調的是，AI集群不等于通用集群。AI在做訓練的時候需要子任務周期性同步，不同機器之間需要有高性能的通信，很多時基于GPU或NPU專用部件。不同的計算模型，不同的交互模式目前對于AI訓練有比較大的挑戰。
?
阿里的各種業務場景都可以用到AI，因此可以通過AI實踐打磨平臺設計，比如手淘-拍立淘的百萬分類模型、淘寶網的語音+NLP和阿里媽媽廣告推薦等。
?
打磨后的飛天AI平臺分為三層，從最底層的基礎硬件，到中間的訓練和推理框架，再到開發平臺。對于AI平臺來講很重要的平臺有以下三個：
?
-
輕量級AI開發平臺：幫助算法和數據科學家實現一鍵式開發、調試部署
-
AI和大數據協同開發平臺：幫助更加迅速地開發面向大數據型業務的系統
-
AI推理服務平臺：解決推理需要的計算資源問題、模型訓練、部署和效果監測
?
以上三個平臺支撐了算法API的輸出和垂直領域平臺以及大腦的解決方案。
?
?
深度學習領域，斯坦福大學推出了一個名為DAWNBench的測試基準，相比于之前的最有結果，阿里云機器學習實現了性能百分之十左右的優化。
?
?
AI技術能力在今天對于提升資產利用率、解決不同場景需求具有重要意義。綜合的AI技術能力主要涉及以下幾方面：
?
-
基礎硬件：用于提供通用的算力以及AI所需要的計算能力，通過IaaS提供云的能力
-
AI云服務：最基礎的PaaS層，通過容易拉起的軟硬件環境向絕大多數用戶提供適合AI的算力
-
高性能計算：提供核心AI計算引擎加速
-
AI系統框架：提供AI計算模式的完整抽象以及跨體系結構的建模迭代和部署
-
AI托管平臺：提升算法研發共享部署和輸出的效率，以及具有用戶粘性的開發平臺
?
?
三、智能計算和數據計算
?
AI是智能計算，大數據領域是數據計算，二者是相輔相成不可或缺的關系。
?
數據支撐AI
?
剛才提到的算法和算力背后需要大量數據的支撐，數據是體現算法和算力價值的重要部分。
?
?
下圖分別展示了2005年和2013年教皇登基的場景。當前手機互聯網的發展導致了數據的指數型增長，這也可以給深度學習帶來性能的提升。
?
?
1998年的一個小系統MNIST的訓練數據僅有 10MB，2009年的ImageNet有200G，2017年的WebVision有3TB，而典型的產品視覺系統有1PB。海量的數據幫助阿里幾乎線性地提升其性能。
?
?
舉一個的生活中的場景來說明數據量對于性能的提升作用。在X光片醫學識別領域，有研究顯示，醫生在X光片上識別病癥的效果和其所看過的X光片數量成正比。看的越多，正確率越高。同理，目前的醫療引擎系統可以通過大規模的計算機系統訓練更多的數據，實現更加精準的醫療識別。
?
?
AI驅動大數據走向智能化
?
下圖展示了Forum對大數據領域做的趨勢總結，當前大數據領域需要提取更多的信息，要實現實時的計算，實現AI平臺和在線預測等，都體現了大數據走向智能化的趨勢。
?
?
多個數據源不同類型的數據，如結構化、半結構化和非結構化，落到數倉后如何發揮其價值，答案是智能計算。以廣告推薦場景為例，數據源是用戶在淘寶上的點擊、瀏覽和購買行為數據，通過數據集成離線或實時同步、離線或實時ETL的方式將其落到數倉中，再通過數倉或數據湖的解決方案生成各種數據模型對數據進行訓練，最后通過數據服務的方式對訓練結果進行輸出。可以發現，該過程中對于數據的理解和使用方式開始變得智能化。
?
?
幾年前的HTAP，包括OLTP和OLAP兩部分，OLAP可以進一步分解為大數據的分析，離線、實時分析，基于數據量的不同選擇不同的引擎。而目前數據服務也變得越來越重要，在一些智能客服場景中，需要依賴數據提煉模型，來做實時人工智能推理服務和應用，因此如何把analytics和service結合也很關鍵。這也是現在考慮在做的HSAP，通過人工智能驅動離線、實時數倉數據價值提取，通過數據服務推送給用戶。
?
?
阿里在自己本身的應用中沉淀出了AI加持的大數據方法論和解決方案，在雙十一大促中的離線計算（批處理）、實時計算（流計算）、交互式分析和圖計算等場景，和飛天AI平臺相結合，為用戶提供了AI加持的完整的新一代飛天大數據產品。
?
?
大數據和AI一樣，也非常注重性能。2019年阿里云大數據平臺MaxCompute和EMR分別在TPC上的計算性能和性價比優勢明顯。具體測試結果如下圖所示。
?
?
阿里的阿里小蜜目前為用戶提供了智能化的的語音客服交互方式，其應用了深度學習和智能感知的AI技術，同時需要和背后的大數據業務系統緊密聯系，如物流、用戶數據等，才能實現最后的智能化效果。
?
?
那么作為一個企業應該如何擁抱AI呢。簡單來講，人工智能需要落地，應該從應用需求出發，逐漸追求技術創新，就像愛迪生發明電燈一樣。通過云提供低成本、到高性能和高穩定性的基礎設施，但關鍵應該明確需求是什么。
?
前面幾年，AI一直在做算法的創新，做Demo，但這是遠遠不夠的。
?
AI算法只是系統中的一環，怎樣收集數據，獲取有用特征，怎樣進行驗證，怎樣進行過程管理、資源管理等等，都是企業在擁抱AI需要考慮的問題。
?
AI不是萬能的，但是忽略AI是萬萬不能的。當企業擁抱AI的時候，最重要的還是從業務出發。隨著數據量越來越大，算法越來越多，核心是需要建立懂業務的數據工程師、算法工程師的隊伍，這是當前智能化企業致勝的關鍵。而前面提到的算法、算力和數據，都可以利用目前云上提供的服務和解決方案來實現，其可以幫助企業更快速的實現AI的落地。
總結
以上是生活随笔為你收集整理的贾扬清：如何看待人工智能方向的重要问题？【相辅相成不可或缺的两位“大数据和AI”】的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： C4D R23插件：阿诺德渲染器C4Dt
- 下一篇： laravel database的事务函