作者丨王曲苑

學(xué)校丨西南大學(xué)博士生

研究方向丨人工智能、邊緣計算

邊緣計算和人工智能是當(dāng)今業(yè)界和學(xué)術(shù)環(huán)境中都頻頻提到的兩個詞語，也是如日中天的兩個方向。正如“I?have a pen, I have an ?apple, ah, Apple pen"一樣，邊緣智能應(yīng)運而生。誠如 Gartner 2018 技術(shù)曲線表現(xiàn)出來的那樣，Edge AI 還處于絕對的爬坡階段。但是在邊緣智能中，我們更側(cè)重于誰呢？到底是邊緣借位智能，還是智能借位邊緣？

相比于人工智能來說，邊緣計算似乎稍微小眾了些。在這里，先向大家簡單介紹一下什么是邊緣計算。邊緣計算的概念是由云計算-移動云計算逐步衍生而來的，所謂邊緣計算就是我們可以將手頭需要處理的任務(wù)卸載到周邊距離不太遠(yuǎn)的邊緣云上尋求他人幫助， 以獲得更好的用戶體驗（比如，處理延時更短、自身消耗能量更少等等）。
所謂邊緣云，往宏觀說可以是帶有計算能力的任何可接入點，而一般來說我們認(rèn)為能夠作為邊緣云的是資源相對富足、能力相對突出的附近設(shè)備（如，他人的手機、樓宇服務(wù)器等）。

為了弄清楚邊緣計算和人工智能的“借位關(guān)系”，我們還是要從二者是如何結(jié)合起來來分析。通過閱讀一系列邊緣智能的學(xué)術(shù)論文， 作者以為目前學(xué)術(shù)環(huán)境下的邊緣與智能結(jié)合主要是兩個方面：?

1. 將邊緣計算的思想應(yīng)用在人工智能領(lǐng)域，試圖打造真正親民的AI系統(tǒng)，讓煉丹不再是孤獨的 GPU 游戲；?

2. 將人工智能方法應(yīng)用在邊緣計算領(lǐng)域，利用人工智能算法參與邊緣計算調(diào)度、緩存、通信等過程，讓邊緣端更智能地計算；?

總的來說，前者使得人工智能“落地”，后者使得邊緣端智能。因此在本文中我們將主要以兩篇學(xué)術(shù)文章為例，分別從以上兩個角度去解析和探索當(dāng)前邊緣智能方向的發(fā)展。?
邊緣智能：端邊結(jié)合的按需深度學(xué)習(xí)模型和協(xié)同推理

引言

論文鏈接：https://arxiv.org/pdf/1806.07840v1.pdf
這篇文章是中山大學(xué)數(shù)據(jù)科學(xué)與計算機學(xué)院的陳旭教授團(tuán)隊發(fā)表的?Edge Intelligence: On-Demand Deep Learning Model Co Inference with Device-Edge Synergy，本文以深度神經(jīng)網(wǎng)絡(luò)（DNN）為例，主要描述了如何將學(xué)習(xí)模型部署在資源受限的邊緣 端的兩種方法：模型切分（DNN partitioning）和模型精簡（DNN Right-Sizing）。?

模型切分?

作者給我們展示了在樹莓派運行的每層運行時間和輸出數(shù)據(jù)量，面對每層不同的運行時間和數(shù)據(jù)輸出量，結(jié)合邊緣計算思想，最直 觀最暴力的想法就是把費時的計算密集型層通過網(wǎng)絡(luò)卸載到計算能力稍大的服務(wù)器，以較少的通信開銷換取邊緣端的處理延遲。在圖示這種情況下，作者以 lrn_2 作為切分點，將其之前的層卸載到邊緣服務(wù)器，而其余層在設(shè)備端執(zhí)行。?

模型精簡

雖然模型切分可以有效地減少整個模型的訓(xùn)練延遲，但是由于端設(shè)備的處理能力有限，模型切分后的模型訓(xùn)練延遲仍然取決于本地運行層的延遲。因此作者進(jìn)一步提出了模型精簡機制。
針對同一個深度神經(jīng)網(wǎng)絡(luò)，作者設(shè)計了多個訓(xùn)練退出點，分別對應(yīng)不同的網(wǎng)絡(luò)大小，根據(jù)具體應(yīng)用的需求選擇不同的退出點以減少計算負(fù)擔(dān)從而減少總延遲。但是“早退”點的設(shè)計帶來的可能是精確度的降低，所以這種方法是以可忍受的精確度降低換取總訓(xùn)練時延。?

問題刻畫

根據(jù)以上兩方面的描述，作者認(rèn)為可以根據(jù)不同應(yīng)用需求，以按需索取的方式在延遲和準(zhǔn)確性之間做均衡，因此，這篇文章主要解決的問題是：在給定延遲約束的情況下，如何聯(lián)合優(yōu)化模型切分與模型精簡以最大化推斷準(zhǔn)確度。?

框架

作者提出了一種名為 Edgent 的在滿足時間約束下自動選擇最優(yōu)分割點和退出點以最大化推斷準(zhǔn)確度的端邊按需協(xié)同推理框架。?如圖所示，該框架分為離線訓(xùn)練、在線優(yōu)化和協(xié)同推理三個階段。

離線訓(xùn)練

在離線訓(xùn)練階段，該系統(tǒng)需要執(zhí)行兩個初始化：1）根據(jù)移動設(shè)備和邊緣服務(wù)器特性對不同類型的 DNN 層（卷積、池化等）生成基于回歸的性能預(yù)測模型；2）使用 Branchynet 訓(xùn)練具備多個退出點的 DNN 模型；?在對不同 DNN 層進(jìn)行性能預(yù)測時，Edgent 以層為單位而不是以整個 DNN 網(wǎng)絡(luò)為單位對每層產(chǎn)生延遲進(jìn)行建模，作者觀察到不同層所產(chǎn)生的延遲由各種獨立變量確定，如表 1 所示。
除此之外，作者發(fā)現(xiàn) DNN 模型大小對模型加載延遲也有一定的影響?；谝陨陷斎?#xff0c;作者建立了回歸模型來預(yù)測基于特征的不同層的延遲，如表 2 所示。?

在線優(yōu)化

在這一階段 DNN 優(yōu)化器在保證端對端延遲約束的情況下選擇最優(yōu)分割點和退出點以最大化準(zhǔn)確性。?在這一階段，主要看重以下三個輸入：1）上一階段的預(yù)測模型和不同大小的 DNN 模型；2）邊緣設(shè)備和服務(wù)器之間的可用帶寬；3）預(yù)先設(shè)定的延遲要求。作者給出了聯(lián)合優(yōu)化模型分割和模型精簡的算法，算法本質(zhì)很簡單，就是找到某一個點，使得總時間最小。算法見圖。?

協(xié)同推理

根據(jù)在線優(yōu)化階段得到的最優(yōu)分割點和退出點對整個神經(jīng)網(wǎng)絡(luò)進(jìn)行劃分，并按規(guī)則執(zhí)行。?

實驗

作者以一臺普通的 4 核電腦作為邊緣服務(wù)器，以樹莓派作為邊緣手機，作者探究了不同帶寬限制和不同延遲要求下所提機制的不同結(jié)果。?

作者還展示了在相對較差的網(wǎng)絡(luò)條件下（400kbps），?種不同的推理模型在不同延遲約束下的性能表現(xiàn)?？梢娤啾扔谄渌Ｐ?#xff0c;作者 提出的 Edgent 的包容性更高，在準(zhǔn)確度上也有不錯的表現(xiàn)，

結(jié)論

這篇文章就是將邊緣計算思想用于人工智能的典型例子，通過對深度神經(jīng)網(wǎng)絡(luò)的層進(jìn)行適當(dāng)?shù)貏澐趾途?#xff0c;使得在資源受限的邊緣端也能完成一定的人工智能推理任務(wù)，同時還保證了較好的準(zhǔn)確率和低延遲。?
智能賦邊：通過聯(lián)邦學(xué)習(xí)賦能移動邊緣計算、緩存和通信

引言

論文鏈接：https://arxiv.org/pdf/1806.07840v1.pdf
這篇文章是天津大學(xué)計算機科學(xué)與技術(shù)學(xué)院的王曉飛教授團(tuán)隊發(fā)表的?In-Edge AI:?Intelligentizing Mobile Edge Computing, Caching and Communication by Federated Learning，本文受當(dāng)前深度學(xué)習(xí)技術(shù)驅(qū)動，為了給邊緣帶來更多智能，提出將深度強化學(xué)習(xí)技術(shù)和聯(lián)邦學(xué)習(xí)框架與移動邊緣系統(tǒng)相結(jié)合，以優(yōu)化移動邊緣計算、緩存和通信。?

目前有許多學(xué)者針對邊緣計算系統(tǒng)計算、緩存和通信等方面的優(yōu)化問題展開研究，但是目前的研究面臨以下三方面挑戰(zhàn)：?

1. 不確定輸入。?在以往的研究中，作者往往對某些關(guān)鍵變量、關(guān)鍵信息進(jìn)行假設(shè)，然后作為系統(tǒng)輸入給出，但是實際上其中許多變 量和信息由于無線信道的變化和隱私政策等無法獲取；

2. 動態(tài)變化。?移動邊緣計算的特性決定了網(wǎng)絡(luò)拓?fù)洹⑿诺罈l件、用戶位置等諸多因素很可能是動態(tài)變化的，這在以往的優(yōu)化方法中很難解決。

3. 時間隔離。?現(xiàn)有大多數(shù)優(yōu)化算法僅僅考慮當(dāng)前狀態(tài)是最優(yōu)或者近似優(yōu)的，而不考慮當(dāng)前決策對資源分配的長期影響。

總之，目前移動邊緣計算系統(tǒng)資源配置優(yōu)化中存在的主要問題是缺乏智能。?

在這篇文章中，作者考慮了計算卸載和邊緣緩存兩種情況，利用深度強化學(xué)習(xí)技術(shù)來管理通信和計算資源。此外，引入用于分布式訓(xùn)練 DRL 智能體的聯(lián)邦學(xué)習(xí)機制以達(dá)到以下四點目的：??

1. 大幅度減少通過上行鏈路上傳的數(shù)據(jù)量；?2. 動態(tài)認(rèn)知響應(yīng)移動通信環(huán)境和蜂窩網(wǎng)絡(luò)狀況；?3. 在實際網(wǎng)絡(luò)拓?fù)渲懈玫剡m應(yīng)異構(gòu)用戶設(shè)備；?4. 保護(hù)個人數(shù)據(jù)隱私。?

利用深度強化學(xué)習(xí)優(yōu)化邊緣

作者利用深度強化學(xué)習(xí)技術(shù)作為認(rèn)知計算的方法以構(gòu)建智能化的移動邊緣計算、緩存和通信系統(tǒng)。整個過程被分為三個主要部分：?信息收集、認(rèn)知計算和請求處理。?

1. 信息收集：感知和收集移動邊緣系統(tǒng)中認(rèn)知計算必不可少的觀測數(shù)據(jù)，包括但不限于通信和計算資源的使用、無線環(huán)境的變化和用戶設(shè)備的請求強度。?

2. 認(rèn)知計算：對大量觀測數(shù)據(jù)進(jìn)行認(rèn)知計算并給出調(diào)度策略。?

3. 請求處理：移動邊緣系統(tǒng)基于認(rèn)知計算給出的調(diào)度策略處理用戶設(shè)備請求。?

利用聯(lián)邦學(xué)習(xí)賦能邊緣

當(dāng)我們選擇用深度強化學(xué)習(xí)技術(shù)來優(yōu)化邊緣時會遇到一個棘手的問題：在哪里訓(xùn)練這些 DRL 智能體？倘若將 DRL 智能體全部放在本地訓(xùn)練，則會為本地設(shè)備帶來巨大的能量消耗和延遲開銷，若全部放在云端或邊緣端訓(xùn)練，那么無疑增加了上行鏈路的負(fù)擔(dān)，此外還要擔(dān)心所傳輸數(shù)據(jù)的隱私安全。?

因此我們自然想到應(yīng)用分布式深度強化學(xué)習(xí)技術(shù)來應(yīng)對以上問題，但是當(dāng)用戶設(shè)備異構(gòu)且網(wǎng)絡(luò)環(huán)境動態(tài)變化時，這樣的方法通常會降低 DRL 智能體的性能。作者引入了聯(lián)邦學(xué)習(xí)來解決以下四個問題：?

1. 用戶非獨立同分布。用戶設(shè)備上的訓(xùn)練數(shù)據(jù)是根據(jù)其無線環(huán)境和自身計算能力、能量消耗等參數(shù)得到的。因此任何單獨的訓(xùn)練數(shù)據(jù)都不能代表所有用戶的訓(xùn)練數(shù)據(jù)。

2. 有限通信資源。用戶常常無法預(yù)測什么時候離線或被分配?劣質(zhì)信道。在聯(lián)邦學(xué)習(xí)機制中，每一輪僅僅要求一部分用戶上傳更新。?

3. 不平衡。一部分用戶可能擁有更多需要處理的任務(wù)，經(jīng)歷更復(fù)雜的網(wǎng)絡(luò)情況。?

4. 隱私安全。聯(lián)邦學(xué)習(xí)中需要上傳的信息是所需的最小更新，并且可以利用差分隱私等技術(shù)避免在更新中出現(xiàn)敏感數(shù)據(jù)。?

在基于聯(lián)邦學(xué)習(xí)的深度強化學(xué)習(xí)訓(xùn)練過程中，為了訓(xùn)練一般的深度學(xué)習(xí)模型，聯(lián)邦學(xué)習(xí)迭代地請求隨機客戶端（訓(xùn)練深度學(xué)習(xí)模型的分布式設(shè)備），從某個服務(wù)器上下載深度學(xué)習(xí)模型參數(shù)，在下載的模型上執(zhí)行自身數(shù)據(jù)的訓(xùn)練過程，然后將新模型參數(shù)上傳?服務(wù)器，匯總更新進(jìn)一步完善模型。對于每個客戶端而言可以從中央副武器下載模型，并在訓(xùn)練自身模型后向服務(wù)器更新權(quán)重。
總之，聯(lián)邦學(xué)習(xí)使得用戶設(shè)備和邊緣節(jié)點學(xué)習(xí)共享模型，但是同時保持了訓(xùn)練數(shù)據(jù)的本地化。?聯(lián)邦學(xué)習(xí)雖不能優(yōu)于集中式的訓(xùn)練模型，但也可以達(dá)到近似優(yōu)的結(jié)果。?

數(shù)據(jù)驅(qū)動的驗證實驗

作者利用了含有 9514 個移動用戶、188447 個內(nèi)容文件、2107100 條內(nèi)容請求的真實數(shù)據(jù)集對所提框架進(jìn)行了驗證。實驗證明，從效果上來說，所提出的基于聯(lián)邦學(xué)習(xí)的方式很大程度逼近了集中式的效果，在傳輸開銷方面，應(yīng)用了聯(lián)邦學(xué)習(xí)的機制也明顯減少了傳輸開銷。

結(jié)論

這篇文章是典型的將人工智能中的技術(shù)用于解決邊緣計算所面臨的問題，使得邊緣計算中的任務(wù)調(diào)度、資源分配和內(nèi)容緩存等問題得到解決。

從以上兩篇文章可以看出，關(guān)于邊緣和智能的結(jié)合可謂是眾說紛紜，大家從不同角度出發(fā)，目前仍處于“言之有理即可”的階段。本文所提及的兩篇文章都是提出了系統(tǒng)性的架構(gòu)，并沒有詳細(xì)的理論推導(dǎo)。還有許多文章從純理論技術(shù)的角度將人工智能算法應(yīng)用到了邊緣計算場景中，我們有機會后面再談。?

點擊以下標(biāo)題查看更多往期內(nèi)容：?

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標(biāo)準(zhǔn)：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會添加“原創(chuàng)”標(biāo)志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通

?

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 獲取最新論文推薦

總結(jié)

以上是生活随笔為你收集整理的边缘和智能，是谁在借谁上位？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。