力荐联邦学习系统，据说英伟达Clara“上架”新进展！
生活随笔
收集整理的這篇文章主要介紹了
力荐联邦学习系统，据说英伟达Clara“上架”新进展！
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
戳藍字“CSDN云計算”關(guān)注我們哦！作者 |??晶少
責編 | 阿禿
這是晶少本年度第二次面訪Kimberly Powell，這位英偉達醫(yī)療領(lǐng)域的美女副總裁。除了一貫的nice之外，更重要的一點，在深圳MICCAI 2019期間，英偉達醫(yī)療團隊還帶來了首個面向醫(yī)學影像的隱私保護型聯(lián)邦學習系統(tǒng)的發(fā)布以及關(guān)于Clara的最新進展。有明確消息指出，英偉達（Nvidia）和倫敦國王學院（King’s College London）的人工智能研究人員已經(jīng)做到利用聯(lián)合學習訓練了一種用于腦腫瘤分類的神經(jīng)網(wǎng)絡(luò)，這項技術(shù)可以在醫(yī)院和研究人員之間共享數(shù)據(jù)的同時，做到保護患者隱私。據(jù)悉該模型使用了來自285例腦腫瘤患者挑戰(zhàn)的BraTS（Multimodal Brain Tumor Segmentation）數(shù)據(jù)集。有定義表示，聯(lián)合學習又被稱為聯(lián)邦學習，是一種機器學習方法。當使用客戶端-服務(wù)器方法時，可以做到不再需要創(chuàng)建單個數(shù)據(jù)湖來訓練模型；模型可以在本地就可得到訓練，隨后將得到的洞察從多臺機器傳輸?shù)揭粋€中心模型中加以匯總利用。
技術(shù)發(fā)展至今，我們似乎對”機器學習在醫(yī)療健康領(lǐng)域潛在影響巨大”達成了共識，深度學習不愧是一種從醫(yī)學數(shù)據(jù)中自動提取知識的強大技術(shù)，一些計算機視覺系統(tǒng)也早已證明“完勝”人類放射科專家的諸多經(jīng)驗與能力，但由于醫(yī)療領(lǐng)域大量數(shù)據(jù)隱私的要求，更多病例的不同數(shù)據(jù)集并不總是可用的狀態(tài)。通俗來說，英偉達上新的這款聯(lián)邦學習系統(tǒng)能夠幫助開發(fā)者與各個企業(yè)或者機構(gòu)利用分散在很多不同位置的待訓練數(shù)據(jù)，針對中心深度神經(jīng)網(wǎng)絡(luò)進行訓練學習，進而可以支持利用共享模型展開協(xié)作，但此過程中并不需要共享任何臨床數(shù)據(jù)。對此，以英偉達資深研究科學家Nicola Rieke為代表的研究人員在相關(guān)論文中描述道：“聯(lián)邦學習在無需共享患者數(shù)據(jù)的情況下，即可實現(xiàn)協(xié)作與分散化的神經(jīng)網(wǎng)絡(luò)訓練。其中各節(jié)點負責訓練其自身的本地模型，并定期提交給參數(shù)服務(wù)器；而該服務(wù)器不斷累積并聚合各自的貢獻進而創(chuàng)建一個全局模型，分享給所有節(jié)點。”相比于數(shù)據(jù)集中式系統(tǒng)，聯(lián)邦學習提供的方法可以在不共享機構(gòu)數(shù)據(jù)的情況下實現(xiàn)很大的分割性能，不但可以保證極高的隱私安全性，通過模型反演還可以做到設(shè)法將數(shù)據(jù)重現(xiàn)。至此我們可以得出結(jié)論，聯(lián)邦學習有望高效聚合各機構(gòu)，從私有數(shù)據(jù)中本地習得知識，進一步提高深度模型的準確性、穩(wěn)健性與通用化能力，并將廣泛推動數(shù)據(jù)驅(qū)動型精準醫(yī)學的進步。據(jù)悉研發(fā)專家們?yōu)榱藥椭岣呗?lián)盟學習的安全性，專門研究試驗了使用ε-差分隱私框架的可行性。晶少了解到該框架是一種正式定義隱私損失的方法，可以借助其強大的隱私保障性來保護患者與機構(gòu)數(shù)據(jù)。此外通過使用稀疏向量技術(shù)，聯(lián)盟學習系統(tǒng)可以實現(xiàn)嚴格隱私保護，但只對模型性能產(chǎn)生合理范圍內(nèi)的影響，微小到可忽略。談及聯(lián)邦學習系統(tǒng)的安全機制，英偉達醫(yī)療方面聲稱，關(guān)于實際的數(shù)據(jù)安全，本質(zhì)上是“模型找數(shù)據(jù)，而不是數(shù)據(jù)找模型”。所謂 “模型找數(shù)據(jù)”實則保證了本地數(shù)據(jù)完成訓練，也是系統(tǒng)的最大優(yōu)勢突破；訓練完成的數(shù)據(jù)進行回傳時，確保最少涉及隱私的數(shù)據(jù)被回傳。“聯(lián)邦系統(tǒng)涉及的隱私其實也分不同層級，在搭建這個系統(tǒng)的時候就給予了一定的數(shù)據(jù)隱私性考慮。訓練完成后，在數(shù)據(jù)中加入一些噪點，使其變得模糊，改變了原有數(shù)據(jù)的顆粒度，讓聯(lián)合學習模型更加安全。”如此看來在“聯(lián)邦學習”的模式下，其實數(shù)據(jù)傳輸?shù)囊笫欠浅Ｐ〉?#xff0c;因為只是傳輸了模型中非常少的一部分數(shù)據(jù)，也就是說只有這一部分數(shù)據(jù)傳輸是需要用到網(wǎng)絡(luò)，而不是整個模型的數(shù)據(jù)，所以在這樣的情況下，模型中少量數(shù)據(jù)進行傳輸會帶來整個通信成本的降低。其實對于聯(lián)邦學習系統(tǒng)的嘗試，英偉達并不是首家，業(yè)界曾經(jīng)有將同樣的技術(shù)應(yīng)用于android和ios設(shè)備上進行鍵盤定制模型的訓練的先例，這種嘗試更多側(cè)重圖像分類應(yīng)用層面，其受眾量相對較多，甚至可能達到百萬甚至千萬的體量；相比之下，醫(yī)療行業(yè)較小眾，應(yīng)用量級并不大，但對底層計算資源要求較高，模型以及數(shù)據(jù)集的規(guī)模均復雜，例如3D醫(yī)學影像的大小，需要更多的計算能力幫助實現(xiàn)。基于此，英偉達高級研究人員提出，“這項研究可以被認為是面向可靠聯(lián)合學習部署邁出的重要一步，未來希望能夠在很大范圍內(nèi)實現(xiàn)數(shù)據(jù)驅(qū)動的精確性。”更重要的一點，有消息稱，將來還將把聯(lián)合學習系統(tǒng)納入Clara平臺中集成，想必此舉如果實現(xiàn)，開發(fā)者們福利頗多。談及Clara平臺，晶少在今年早些時間就有一篇文章“老舊的醫(yī)療設(shè)備也能“趕時髦”？“聰明”的NVIDIA Clara說：沒問題！”具體講到過，總體來看正是因為日漸復雜的數(shù)據(jù)問題，諸如量大且分散，讓工作自動化成為關(guān)鍵；而AI技術(shù)作為研發(fā)更先進工具的重要突破口之一，英偉達Clara應(yīng)對此類挑戰(zhàn)勢在必行。
概括來說針對模型訓練，Clara內(nèi)部已經(jīng)做了大量計算和訓練模型的嘗試；對于那些預(yù)訓練的數(shù)據(jù)，完成解讀也是Clara可以勝任的事情之一。此外，Clara平臺實際上還提供了可擴展的AI推理功能，初創(chuàng)企業(yè)和醫(yī)療公司完全可以使用其進行快速和低成本的擴展。基于此Kimberly Powell表示，如今Clara平臺的開發(fā)者數(shù)量增長非常迅速，從今年春季到目前，幾個月的時間內(nèi)，開發(fā)者的數(shù)量增加了4倍。探究其增長迅速的原因，工具集的高度模塊化值得被注意。“在Clara第一個版本中，整個工作流是提前設(shè)定好的，也就是說用現(xiàn)有的模型去訓練現(xiàn)有預(yù)定好的模型；而在最新的版本中，就可以做到將自己的模型放入平臺來做訓練，在使用層面表現(xiàn)更加友好。”她補充道。
另外，英偉達還整合了一些開源工具到平臺中，例如醫(yī)療影像新的瀏覽器功能，相當于“AI助理分析工具”，可以做到從三個視角觀察判斷圖像，從用戶體驗角度看更加方便。此外更重要的改善就是性能優(yōu)化，尤其是在數(shù)據(jù)加載到訓練過程中。如果“數(shù)據(jù)加載的時間可能比訓練的時間還要長”的話，顯然不給力；優(yōu)化過程中英偉達還實現(xiàn)了自動化多GPU訓練的嘗試等。采訪中，NVIDIA中國高性能計算、產(chǎn)業(yè)AI業(yè)務(wù)總經(jīng)理劉通總結(jié)道，英偉達其實希望搭建現(xiàn)代AI架構(gòu)下的引擎。引擎涵蓋不僅僅是芯片、同樣還有系統(tǒng)以及各種各樣的軟件堆棧等，以此應(yīng)對這種比原來計算需求強30萬倍的訓練目標，并在盡短的時間內(nèi)完成且飽含創(chuàng)新，如此看來在消費級AI中，英偉達更關(guān)注數(shù)據(jù)訓練、模型訓練等方向。
“目前我們已經(jīng)進入到了一個新階段，各個垂直行業(yè)均希望能夠充分利用在AI領(lǐng)域的最先進技術(shù)；而在醫(yī)療領(lǐng)域，英偉達其中一個非常核心的使命就是讓開發(fā)者工具能夠更好識別醫(yī)療領(lǐng)域的數(shù)據(jù)，這一點非常關(guān)鍵。”
福利掃描添加小編微信，備注“姓名+公司職位”，入駐【CSDN博客】，加入【云計算學習交流群】，和志同道合的朋友們共同打卡學習！
責編 | 阿禿
這是晶少本年度第二次面訪Kimberly Powell，這位英偉達醫(yī)療領(lǐng)域的美女副總裁。除了一貫的nice之外，更重要的一點，在深圳MICCAI 2019期間，英偉達醫(yī)療團隊還帶來了首個面向醫(yī)學影像的隱私保護型聯(lián)邦學習系統(tǒng)的發(fā)布以及關(guān)于Clara的最新進展。有明確消息指出，英偉達（Nvidia）和倫敦國王學院（King’s College London）的人工智能研究人員已經(jīng)做到利用聯(lián)合學習訓練了一種用于腦腫瘤分類的神經(jīng)網(wǎng)絡(luò)，這項技術(shù)可以在醫(yī)院和研究人員之間共享數(shù)據(jù)的同時，做到保護患者隱私。據(jù)悉該模型使用了來自285例腦腫瘤患者挑戰(zhàn)的BraTS（Multimodal Brain Tumor Segmentation）數(shù)據(jù)集。有定義表示，聯(lián)合學習又被稱為聯(lián)邦學習，是一種機器學習方法。當使用客戶端-服務(wù)器方法時，可以做到不再需要創(chuàng)建單個數(shù)據(jù)湖來訓練模型；模型可以在本地就可得到訓練，隨后將得到的洞察從多臺機器傳輸?shù)揭粋€中心模型中加以匯總利用。
技術(shù)發(fā)展至今，我們似乎對”機器學習在醫(yī)療健康領(lǐng)域潛在影響巨大”達成了共識，深度學習不愧是一種從醫(yī)學數(shù)據(jù)中自動提取知識的強大技術(shù)，一些計算機視覺系統(tǒng)也早已證明“完勝”人類放射科專家的諸多經(jīng)驗與能力，但由于醫(yī)療領(lǐng)域大量數(shù)據(jù)隱私的要求，更多病例的不同數(shù)據(jù)集并不總是可用的狀態(tài)。通俗來說，英偉達上新的這款聯(lián)邦學習系統(tǒng)能夠幫助開發(fā)者與各個企業(yè)或者機構(gòu)利用分散在很多不同位置的待訓練數(shù)據(jù)，針對中心深度神經(jīng)網(wǎng)絡(luò)進行訓練學習，進而可以支持利用共享模型展開協(xié)作，但此過程中并不需要共享任何臨床數(shù)據(jù)。對此，以英偉達資深研究科學家Nicola Rieke為代表的研究人員在相關(guān)論文中描述道：“聯(lián)邦學習在無需共享患者數(shù)據(jù)的情況下，即可實現(xiàn)協(xié)作與分散化的神經(jīng)網(wǎng)絡(luò)訓練。其中各節(jié)點負責訓練其自身的本地模型，并定期提交給參數(shù)服務(wù)器；而該服務(wù)器不斷累積并聚合各自的貢獻進而創(chuàng)建一個全局模型，分享給所有節(jié)點。”相比于數(shù)據(jù)集中式系統(tǒng)，聯(lián)邦學習提供的方法可以在不共享機構(gòu)數(shù)據(jù)的情況下實現(xiàn)很大的分割性能，不但可以保證極高的隱私安全性，通過模型反演還可以做到設(shè)法將數(shù)據(jù)重現(xiàn)。至此我們可以得出結(jié)論，聯(lián)邦學習有望高效聚合各機構(gòu)，從私有數(shù)據(jù)中本地習得知識，進一步提高深度模型的準確性、穩(wěn)健性與通用化能力，并將廣泛推動數(shù)據(jù)驅(qū)動型精準醫(yī)學的進步。據(jù)悉研發(fā)專家們?yōu)榱藥椭岣呗?lián)盟學習的安全性，專門研究試驗了使用ε-差分隱私框架的可行性。晶少了解到該框架是一種正式定義隱私損失的方法，可以借助其強大的隱私保障性來保護患者與機構(gòu)數(shù)據(jù)。此外通過使用稀疏向量技術(shù)，聯(lián)盟學習系統(tǒng)可以實現(xiàn)嚴格隱私保護，但只對模型性能產(chǎn)生合理范圍內(nèi)的影響，微小到可忽略。談及聯(lián)邦學習系統(tǒng)的安全機制，英偉達醫(yī)療方面聲稱，關(guān)于實際的數(shù)據(jù)安全，本質(zhì)上是“模型找數(shù)據(jù)，而不是數(shù)據(jù)找模型”。所謂 “模型找數(shù)據(jù)”實則保證了本地數(shù)據(jù)完成訓練，也是系統(tǒng)的最大優(yōu)勢突破；訓練完成的數(shù)據(jù)進行回傳時，確保最少涉及隱私的數(shù)據(jù)被回傳。“聯(lián)邦系統(tǒng)涉及的隱私其實也分不同層級，在搭建這個系統(tǒng)的時候就給予了一定的數(shù)據(jù)隱私性考慮。訓練完成后，在數(shù)據(jù)中加入一些噪點，使其變得模糊，改變了原有數(shù)據(jù)的顆粒度，讓聯(lián)合學習模型更加安全。”如此看來在“聯(lián)邦學習”的模式下，其實數(shù)據(jù)傳輸?shù)囊笫欠浅Ｐ〉?#xff0c;因為只是傳輸了模型中非常少的一部分數(shù)據(jù)，也就是說只有這一部分數(shù)據(jù)傳輸是需要用到網(wǎng)絡(luò)，而不是整個模型的數(shù)據(jù)，所以在這樣的情況下，模型中少量數(shù)據(jù)進行傳輸會帶來整個通信成本的降低。其實對于聯(lián)邦學習系統(tǒng)的嘗試，英偉達并不是首家，業(yè)界曾經(jīng)有將同樣的技術(shù)應(yīng)用于android和ios設(shè)備上進行鍵盤定制模型的訓練的先例，這種嘗試更多側(cè)重圖像分類應(yīng)用層面，其受眾量相對較多，甚至可能達到百萬甚至千萬的體量；相比之下，醫(yī)療行業(yè)較小眾，應(yīng)用量級并不大，但對底層計算資源要求較高，模型以及數(shù)據(jù)集的規(guī)模均復雜，例如3D醫(yī)學影像的大小，需要更多的計算能力幫助實現(xiàn)。基于此，英偉達高級研究人員提出，“這項研究可以被認為是面向可靠聯(lián)合學習部署邁出的重要一步，未來希望能夠在很大范圍內(nèi)實現(xiàn)數(shù)據(jù)驅(qū)動的精確性。”更重要的一點，有消息稱，將來還將把聯(lián)合學習系統(tǒng)納入Clara平臺中集成，想必此舉如果實現(xiàn)，開發(fā)者們福利頗多。談及Clara平臺，晶少在今年早些時間就有一篇文章“老舊的醫(yī)療設(shè)備也能“趕時髦”？“聰明”的NVIDIA Clara說：沒問題！”具體講到過，總體來看正是因為日漸復雜的數(shù)據(jù)問題，諸如量大且分散，讓工作自動化成為關(guān)鍵；而AI技術(shù)作為研發(fā)更先進工具的重要突破口之一，英偉達Clara應(yīng)對此類挑戰(zhàn)勢在必行。
概括來說針對模型訓練，Clara內(nèi)部已經(jīng)做了大量計算和訓練模型的嘗試；對于那些預(yù)訓練的數(shù)據(jù)，完成解讀也是Clara可以勝任的事情之一。此外，Clara平臺實際上還提供了可擴展的AI推理功能，初創(chuàng)企業(yè)和醫(yī)療公司完全可以使用其進行快速和低成本的擴展。基于此Kimberly Powell表示，如今Clara平臺的開發(fā)者數(shù)量增長非常迅速，從今年春季到目前，幾個月的時間內(nèi)，開發(fā)者的數(shù)量增加了4倍。探究其增長迅速的原因，工具集的高度模塊化值得被注意。“在Clara第一個版本中，整個工作流是提前設(shè)定好的，也就是說用現(xiàn)有的模型去訓練現(xiàn)有預(yù)定好的模型；而在最新的版本中，就可以做到將自己的模型放入平臺來做訓練，在使用層面表現(xiàn)更加友好。”她補充道。
另外，英偉達還整合了一些開源工具到平臺中，例如醫(yī)療影像新的瀏覽器功能，相當于“AI助理分析工具”，可以做到從三個視角觀察判斷圖像，從用戶體驗角度看更加方便。此外更重要的改善就是性能優(yōu)化，尤其是在數(shù)據(jù)加載到訓練過程中。如果“數(shù)據(jù)加載的時間可能比訓練的時間還要長”的話，顯然不給力；優(yōu)化過程中英偉達還實現(xiàn)了自動化多GPU訓練的嘗試等。采訪中，NVIDIA中國高性能計算、產(chǎn)業(yè)AI業(yè)務(wù)總經(jīng)理劉通總結(jié)道，英偉達其實希望搭建現(xiàn)代AI架構(gòu)下的引擎。引擎涵蓋不僅僅是芯片、同樣還有系統(tǒng)以及各種各樣的軟件堆棧等，以此應(yīng)對這種比原來計算需求強30萬倍的訓練目標，并在盡短的時間內(nèi)完成且飽含創(chuàng)新，如此看來在消費級AI中，英偉達更關(guān)注數(shù)據(jù)訓練、模型訓練等方向。
“目前我們已經(jīng)進入到了一個新階段，各個垂直行業(yè)均希望能夠充分利用在AI領(lǐng)域的最先進技術(shù)；而在醫(yī)療領(lǐng)域，英偉達其中一個非常核心的使命就是讓開發(fā)者工具能夠更好識別醫(yī)療領(lǐng)域的數(shù)據(jù)，這一點非常關(guān)鍵。”
福利掃描添加小編微信，備注“姓名+公司職位”，入駐【CSDN博客】，加入【云計算學習交流群】，和志同道合的朋友們共同打卡學習！
推薦閱讀：
總結(jié)
以上是生活随笔為你收集整理的力荐联邦学习系统，据说英伟达Clara“上架”新进展！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 漫画 | 面试的我 VS 真实的我
- 下一篇： 腾讯会议扩容背后：100万核计算资源全由