?

實時遠(yuǎn)程醫(yī)學(xué)影像產(chǎn)品對圖像傳輸?shù)氖д妗⒖D、延時的要求尤為嚴(yán)苛。在LiveVideoStackCon2019深圳大會上，華大智造音視頻技術(shù)專家 黃翠萍詳細(xì)了介紹如何在現(xiàn)有網(wǎng)絡(luò)保障實時遠(yuǎn)程醫(yī)學(xué)影像的服務(wù)質(zhì)量及在網(wǎng)絡(luò)方面所做的優(yōu)化。

?

文 / 黃翠萍

整理 / LiveVideoStack

1

產(chǎn)品介紹

華大影像團隊成立的意義：通過集成機器人技術(shù)、實時遠(yuǎn)程控制技術(shù)及超聲影像技術(shù)，解決偏遠(yuǎn)地區(qū)、基層醫(yī)療機構(gòu)缺少超聲醫(yī)生、以及現(xiàn)有醫(yī)生超負(fù)荷工作的現(xiàn)狀；打破傳統(tǒng)超聲診療方式的局限，克服時空的障礙，改善醫(yī)療資源分布不均衡的現(xiàn)狀；使全民平等的享受優(yōu)質(zhì)的醫(yī)療服務(wù)。

2

面臨挑戰(zhàn)

在遠(yuǎn)程醫(yī)療視頻方面的挑戰(zhàn)主要有三方面：失真、卡頓、延時。

• 失真：醫(yī)生最關(guān)注遠(yuǎn)程超聲視頻能否保證醫(yī)生診斷準(zhǔn)確，0誤診

• 卡頓：超聲影像為動態(tài)實時，出現(xiàn)卡頓，會導(dǎo)致醫(yī)生需要反復(fù)確認(rèn)，降低檢查效率

• 延時：醫(yī)生通過操作遠(yuǎn)程機械臂進(jìn)行超聲檢查，手法對應(yīng)超聲視頻同步要求高

?

為了應(yīng)對挑戰(zhàn)，首要任務(wù)是分析產(chǎn)品產(chǎn)生失真、卡頓、延時的原因是什么？

失真主要由以下三個模塊產(chǎn)生：

• 發(fā)送端：數(shù)據(jù)采集、前處理、視頻編碼壓縮產(chǎn)生失真；

• 網(wǎng)絡(luò)側(cè)：丟包導(dǎo)致信息丟失及發(fā)送端為了緩解網(wǎng)絡(luò)擁塞主動降碼率產(chǎn)生失真；

• 接收端：視頻數(shù)據(jù)不全解碼殘幀產(chǎn)生失真。

卡頓主要由三部分產(chǎn)生，人眼最高捕獲幀率為30幀每秒，當(dāng)幀間間隔分布不均、渲染幀率過低，人會感知卡頓。

• 發(fā)送端：如果發(fā)送端發(fā)送的幀率偏低，例如通訊軟件的幀率一般在15幀每秒，幀率的流暢性不符合醫(yī)學(xué)要求；

• 網(wǎng)絡(luò)端：弱網(wǎng)延時過大、或視頻幀丟失，會產(chǎn)生冥想卡頓；

• 接收端：如果幀率為30幀每秒的幀率可以穩(wěn)定的情況下，不會感覺明顯卡頓，但是如果幀率不穩(wěn)定，忽高忽低情況下，用戶就會感知卡頓，會降低用戶體驗。

根據(jù)ITU-T G.114國際標(biāo)準(zhǔn)規(guī)定，端到端的延時控制在200毫秒以內(nèi)時，則用戶體驗良好，整體感知不到明顯延時，對于我們產(chǎn)品的延時主要有兩大類：固有延時和網(wǎng)絡(luò)延時。

?

• 系統(tǒng)固有延時：僅僅指端的采集、視頻編解碼的延時；

• 網(wǎng)絡(luò)延時：不僅僅指網(wǎng)絡(luò)傳輸?shù)难訒r，會增加抗網(wǎng)絡(luò)丟包和抖動的手段，例如NACK、FEC本身引入的緩存所導(dǎo)致的延時，可以歸類為網(wǎng)絡(luò)延時。

?

根據(jù)通訊行業(yè)標(biāo)準(zhǔn)規(guī)定，網(wǎng)絡(luò)質(zhì)量分為良好、較差、惡劣三個等級，實際在互聯(lián)網(wǎng)應(yīng)用中發(fā)現(xiàn)，大多數(shù)網(wǎng)絡(luò)并不滿足如圖所示行業(yè)標(biāo)準(zhǔn)規(guī)定。一般網(wǎng)絡(luò)環(huán)路延時大概在70、80毫秒左右，丟包在8%左右，因此如果想要提供良好的遠(yuǎn)程服務(wù)，控制系統(tǒng)的固有延時和網(wǎng)絡(luò)延時需要在200毫秒以內(nèi)。

通過分析總結(jié)出4個模塊內(nèi)容可進(jìn)行優(yōu)化：

• 降低系統(tǒng)固有失真優(yōu)化

• 降低系統(tǒng)固有延時優(yōu)化

• 視頻播放幀率平滑優(yōu)化

• 網(wǎng)絡(luò)抗丟包和抖動優(yōu)化

3

應(yīng)對措施

對于醫(yī)生面對產(chǎn)品所產(chǎn)生的顧慮：是否會導(dǎo)致誤診？

?

使用體模方式把關(guān)超聲視頻質(zhì)量，針對掃描不同的臟器器官購買了不同的體模，進(jìn)行0失真驗證；再增加psnr+ssim+vamf方式把關(guān)視頻質(zhì)量，以保證在任何情況下，在發(fā)送端發(fā)送0失真數(shù)據(jù)，完善把關(guān)方法后，就可以分析發(fā)送端到接收端中所有可優(yōu)化的點，進(jìn)而采取相應(yīng)優(yōu)化措施。結(jié)合網(wǎng)絡(luò)質(zhì)量動態(tài)優(yōu)化編碼算法，在高碼率的情況下保證速度優(yōu)先，低碼率情況下保證質(zhì)量優(yōu)先，中等碼率情況下均衡二者的關(guān)系。對于接收端，使用私有協(xié)議對視頻報文、幀、幀間參考關(guān)系進(jìn)行完整性判斷，其中首先對RTP報文的完整性進(jìn)行判斷，如若不完整則使用HARQ進(jìn)行重傳修復(fù)，如若單幀不完整則采取丟幀操作等對應(yīng)的操作，以保證接收端接受的信息無異常并且高質(zhì)量及完整。

網(wǎng)絡(luò)RTT延時大多在80毫秒左右，同時要考慮RTT對NACK的影響等，留給系統(tǒng)的固有延時非常有限。因此進(jìn)行端到端分析引入延時的點有：

• 采集設(shè)備選型：視頻采集幀率60fps。在醫(yī)學(xué)實際應(yīng)用中，很多情況要求采集幀率高，例如心臟科等。

• 數(shù)據(jù)傳輸優(yōu)化：減少采集數(shù)據(jù)轉(zhuǎn)換。視頻采集可用MGP或YUV格式，針對不同情況，選用對視頻傳輸最有利的格式。

• 編解碼器優(yōu)化：禁止編碼B幀。

• 渲染性能優(yōu)化：openGL渲染。

• 系統(tǒng)性能優(yōu)化：熱點函數(shù)優(yōu)化、親核設(shè)計。

經(jīng)過優(yōu)化的超聲系統(tǒng)的固有延時控制在40-50毫秒左右。

?

如若沒有經(jīng)過任何緩存，直接播放情況下視頻播放時間由：采集時間、編碼延時、解碼延時、渲染延時共同決定，對于以上幾種延時情況較為穩(wěn)定，而網(wǎng)絡(luò)傳輸延時是影響視頻能否平穩(wěn)播放的主要因素，因此系統(tǒng)就需要根據(jù)網(wǎng)絡(luò)延時情況配置合理的緩存時間，同時，接收端使用濾波算法，綜合考慮傳輸大幀引起的延時、網(wǎng)絡(luò)噪聲引起的延時以及幀間間隔，計算合理的視頻播放時間，平滑渲染幀率，以保證視頻平穩(wěn)播放。

• 冗余協(xié)議局限性及優(yōu)化

常用的抗網(wǎng)絡(luò)丟包方法有冗余、重傳和SVC編碼，但這三種方法各有優(yōu)缺點。例如RFC 2198冗余協(xié)議的性價比低；XOR_FEC協(xié)議性價比略高，但恢復(fù)能力有限；RS_FEC冗余算法的恢復(fù)能力強，但合適的冗余度配置度較難。

常規(guī)算法：當(dāng)前丟包率、丟包率加權(quán)平均值（恢復(fù)能力差）、窗口期最大丟包率（帶寬利用率低）。

遠(yuǎn)程超聲冗余度配置方法：卡爾曼+窗口期最大丟包率加權(quán)平均值，同時使用多幀F(xiàn)EC冗余機制和深度優(yōu)化參數(shù)，根據(jù)視頻幀率、RTT環(huán)路延時，動態(tài)調(diào)整FEC冗余幀數(shù)，以保證視頻傳輸實時性。

• 重傳協(xié)議局限性及優(yōu)化

ACK重傳：TCP常用，收到報文則進(jìn)行ACK響應(yīng)，其缺點是帶寬利用率低，效率差

NACK重傳：音視頻領(lǐng)域常用，帶寬利用率明顯提升，其缺點是受RTT延時影響嚴(yán)重。在環(huán)路延時較大時，會引入系統(tǒng)延時高。

針對RTT延時對NACK的影響較嚴(yán)重的問題，針對不同情況提出三種應(yīng)對策略：

RTT延時在50ms以下，適合使用ONLY NACK保護(hù)機制。即使用RTT/2作為是否進(jìn)行丟包緩沖延時的判別標(biāo)志；使用重傳次數(shù)的RTT倍的時長作為是否進(jìn)行多次重傳延時的判別標(biāo)志。

RTT延時在50-100ms之間，適合使用HARQ，以FEC數(shù)據(jù)恢復(fù)為主，NACK輔助。

RTT延時在100ms以上，則不適合使用NACK保護(hù)機制，否則用戶延時感知明顯。

• 時間可適編碼局限性及優(yōu)化

SVC時間可適性編碼：通過改變幀間參考關(guān)系，降低丟一幀導(dǎo)致整個GOP都不可用的概率，但是增加了時間冗余度信息，導(dǎo)致編碼后的碼率上升。對于超聲影像，幀間幅度的改變較小，但每增加一層Temporal Layer，實測碼率會上浮10%。

低延時、低丟包網(wǎng)絡(luò)下，僅使用NACK抗丟包保護(hù)。

高延時、高丟包網(wǎng)絡(luò)下，僅使用SVC抗丟包保護(hù)。

其他情況，使用SVC+HARQ抗丟包保護(hù)，策略是，在SVC不同TL層，使用不同的FEC、NACK保護(hù)力度，重點保護(hù)TL0層，盡力保護(hù)其余層。

• 智能選路

由于NAT原因，很多網(wǎng)絡(luò)不能丟P2P，需要租用服務(wù)器，但是網(wǎng)絡(luò)中跨運營商之間易產(chǎn)生大量丟包，例如從移動切換到電信網(wǎng)絡(luò)，丟包至少10%，因此需要租用多臺BGP網(wǎng)絡(luò)服務(wù)器。

對于多臺BGP網(wǎng)絡(luò)服務(wù)器的路徑選擇問題，使用心跳機制（目前所使用的方式）或使用RTX重傳報文、FEC冗余報文實時探測網(wǎng)絡(luò)RTT、丟包率等網(wǎng)絡(luò)QOS，根據(jù)反饋，綜合考慮負(fù)載均衡等因素，動態(tài)調(diào)整網(wǎng)絡(luò)傳輸路徑。

4

成果展示

如圖是項目應(yīng)用情況，經(jīng)過若干優(yōu)化工作后，目前遠(yuǎn)程超聲項目可以在RTT延時100毫秒以內(nèi)，網(wǎng)絡(luò)丟包30%以內(nèi)，實現(xiàn)0失真、0卡頓、低延時傳輸。

5

未來展望

華大智造是為了解決就醫(yī)難而成立，未來有以下幾方面的展望：

• 遠(yuǎn)程計移動超聲診斷：借助5G網(wǎng)絡(luò)，進(jìn)一步將遠(yuǎn)程計移動超聲覆蓋更多有需要的地方；

• 醫(yī)學(xué)影像云服務(wù)：綜合5G+AI+云技術(shù)，為醫(yī)生和患者提供更快捷、更準(zhǔn)確的診斷體驗。

通過不斷技術(shù)更新，進(jìn)而實現(xiàn)智慧醫(yī)院整體方案和智慧醫(yī)療平臺。

相關(guān)鏈接

• Akamai Martin Hor?i?ka：最新網(wǎng)絡(luò)優(yōu)化技術(shù)及編程語言分析

• Facebook：對比COPA 與CUBIC，BBR v1在擁塞控制及視頻質(zhì)量的表現(xiàn)

• 實時視頻傳輸中的BBR擁塞控制

LiveVideoStackCon 2020

上海/北京/舊金山 講師招募

2020年LiveVideoStackCon將持續(xù)迭代，LiveVideoStackCon將分別在上海（6月13-14日），北京（9月11-12日）和舊金山（11月）舉行。歡迎將你的技術(shù)實踐、踩坑與填坑經(jīng)歷、技術(shù)與商業(yè)創(chuàng)業(yè)的思考分享出來，獨樂不如眾樂。請將個人資料和話題信息郵件到 speaker@livevideostack.com 或點擊【閱讀原文】了解成為LiveVideoStackCon講師的權(quán)益與義務(wù)，我們會在48小時內(nèi)回復(fù)。

超強干貨來襲 云風(fēng)專訪：近40年碼齡，通宵達(dá)旦的技術(shù)人生

總結(jié)

以上是生活随笔為你收集整理的实时远程医学影像服务质量保障与网络优化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。