实时机器学习是什么,面临哪些挑战?
? ? 最近能夠隨數據獲取實時調整模型的實時機器學習,正在成為媒體技術領域的新“網紅”。曾經連續兩年,都被FTI評為傳媒業的重要技術趨勢之一,與自然語言理解NLU、機器閱讀理解MRC、音視頻算法等共享金字塔頂端的榮光。
? ? ? ?那實時機器學習到底是什么呢?
在開啟扒皮模式之前,我們先來了解一下,實時機器學習究竟在哪些地方比傳統的機器學習更強?
傳統的機器學習(ML)正在媒體領域得到越來越多的應用,利用算法實現內容的“個性化推薦”,已經成為主流媒體的標配。
但過去的算法,主要側重于使用靜態模型和歷史數據進行訓練并提供預測。比如用戶在瀏覽網站時,可以根據用戶歷史行為數據來推送新聞。
而一些新的涉及動態實施決策的業務,比如具備時效性的熱點新聞,或是用戶想要看點新東西,這就需要用一種新的算法來實現,即實時機器學習Real-Time Machine Learning。
以頭條的核心技術“個性化推薦算法”為例,其核心原理就是根據用戶對文章的歷史行為數據反饋,進行統計挖掘和判斷。
比如具有相同偏好的三個用戶,分別選擇了自己喜歡的文章,得到最高票數的文章就會被推薦給被系統打上同一屬性標簽的第四個人……以此類推。
不難發現,傳統機器學習算法的成功,依賴于對用戶的“知根知底”,需要用戶不斷開放自己的私人領地。
而實時機器學習,更擅長對用戶的當下需求體察入微,讓用戶在保持隱私安全感的同時,獲得如沐春風的瀏覽體驗。
顯然,實時機器學習算法將主導一個令人期待的新世界,也有越來越多的媒體在為此做著準備。
? ? 實時機器學習技術的深入應用,將解鎖很多超乎想象的媒體功能和應用場景。但是,盡管學界已經在算法上提出了幾種理想的架構,但產業端卻未迎來蓬勃的質變。這究竟是為什么?實時機器學習落地到底面臨哪些挑戰呢?
1. 高吞吐量與低延遲的平衡。
媒體平臺的海量用戶需求,決定了實時機器學習要在每秒處理數百萬任務量級。以這樣的速度進行大規模的信息分發,需要細致到毫秒級的任務執行能力。
2. 動態異構任務模塊的高效喚醒。
對于Facebook這樣體量龐大的平臺來說,其服務是由成千上萬個不同模塊構建而成的,流量調節、圖像轉碼、存儲編碼等等。在實時任務中,會伴隨生成很多不同資源支持的新任務,增加系統的響應和處理難度。
如何對這些重要且不一樣的特性進行預測,十分具有挑戰性。
3. 實時算法與業務場景的融合。
實時響應和預測,意味著留給系統的容錯空間更小。要保障這一技術在實際應用場景中的穩定性,就要在完成高吞吐量任務的同時,能夠快速模擬真實世界的交互,然后精準地判斷出,哪些是結果的決定性因素,從而做出正確的響應。
舉個例子,如果想給用戶推薦“哪些朋友贊過此貼”,實時算法會快速判斷出“最近一次查看”這一數據集對完成該任務毫無意義,然后快速修改關聯并重新學習。這種自適應調整,可以有效防止用戶收到的結果中出現明顯的錯誤點。
????
作者:腦極體
原文鏈接:https://www.kg.com/article/512402530874036224
轉載于:https://www.cnblogs.com/space007/p/9962403.html
總結
以上是生活随笔為你收集整理的实时机器学习是什么,面临哪些挑战?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 呆呆键盘手11.14号学到的定位-实现滚
- 下一篇: CPU调度(CPU Scheduling