周正宁:研发最大的挑战是不断否定常规 否定自己
周正寧認(rèn)為,視頻是未來(lái)最重要的溝通方式,視頻處理技術(shù)一定要跟上爆發(fā)需求,這包括視頻內(nèi)容的理解,服務(wù)端處理,實(shí)時(shí)編碼及存儲(chǔ)服務(wù)。從清華紫光、UTStarcom到Aupera,周正寧一直沒(méi)有離開(kāi)研發(fā)工作。大數(shù)據(jù)與AI技術(shù)將與多媒體應(yīng)用結(jié)合將產(chǎn)生更多價(jià)值。LiveVideoStack郵件采訪(fǎng)了Aupera聯(lián)合創(chuàng)始人兼CTO周正寧,他結(jié)合自己的經(jīng)歷總結(jié)了一名普通技術(shù)人到CTO的成長(zhǎng)經(jīng)歷,并對(duì)硬件與多媒體生態(tài)的未來(lái)給出了自己的觀點(diǎn)。
策劃 / LiveVideoStack
LiveVideoStack:周正寧你好,能否簡(jiǎn)要介紹下自己,包括目前的主要工作及關(guān)注領(lǐng)域?
周正寧:我是傲睿智存科技(Aupera)的聯(lián)合創(chuàng)始人兼CTO, 傲睿智存(Aupera)專(zhuān)注于視頻數(shù)據(jù)應(yīng)用的新一代系統(tǒng)解決方案的創(chuàng)業(yè)公司,我主要負(fù)責(zé)公司的系統(tǒng)架構(gòu),技術(shù)路線(xiàn)規(guī)劃等。我此前曾負(fù)責(zé)為包括華為海思在內(nèi)的一些視頻芯片公司提供相關(guān)算法及核心協(xié)議棧,還為 PPTV和樂(lè)視等互聯(lián)網(wǎng)內(nèi)容運(yùn)營(yíng)商提供完整音視頻技術(shù)解決方案;我早年曾于UTStarcom深圳研發(fā)中心負(fù)責(zé)ATCA高性能平臺(tái)及IPTV 系統(tǒng)的相關(guān)底層軟硬件架構(gòu)設(shè)計(jì)及開(kāi)發(fā),以及在清華紫光從事FPGA加密芯片及加密引擎硬件產(chǎn)品的研發(fā)。我非常關(guān)注新興的音視頻編解碼技術(shù),音視頻編解碼與AI融合架構(gòu),大規(guī)模異構(gòu)計(jì)算以及新型存儲(chǔ)技術(shù)及架構(gòu)。
LiveVideoStack:這么多年從技術(shù)工程師到CTO,哪些關(guān)鍵的選擇讓您成為了現(xiàn)在的自己?
周正寧:2007年我決定自己創(chuàng)業(yè)的選擇就已經(jīng)把自己從技術(shù)工程師向更加全面的技術(shù)架構(gòu)和把握技術(shù)趨勢(shì)的角色推進(jìn)了一大步。當(dāng)時(shí)創(chuàng)業(yè)的公司因?yàn)闆](méi)有更全面的團(tuán)隊(duì),業(yè)務(wù)做不起來(lái)規(guī)模,現(xiàn)在參與了傲睿(Aupera)的創(chuàng)立,最大的不同就是優(yōu)秀的團(tuán)隊(duì),我們各司其職,讓我有了更多的時(shí)間去考慮公司的技術(shù)路線(xiàn),我認(rèn)為這兩步是我人生中最關(guān)鍵的選擇而成為了現(xiàn)在的自己。
LiveVideoStack:如何保持一顆好奇心?并在日新月異的技術(shù)大潮中找到屬于自己的發(fā)展路徑?
周正寧:我個(gè)人對(duì)新興的技術(shù)一直都充滿(mǎn)好奇心,保持一顆好奇心并不難,對(duì)于我來(lái)說(shuō)可能是如何壓制我過(guò)于旺盛的好奇心比較難:)。我以前在和朋友聊天或從其他途徑了解到一些新興技術(shù)后,我常常會(huì)去查一下相關(guān)的文章,得益于當(dāng)今發(fā)達(dá)的資訊網(wǎng)絡(luò),你可以輕易找到非常多的相關(guān)論文和討論, 如果沒(méi)有其他事情打擾,我常常可以不吃不喝連續(xù)看十幾個(gè)小時(shí)。但后來(lái)發(fā)現(xiàn)如果一開(kāi)始就對(duì)一項(xiàng)技術(shù)作過(guò)于深入的研究不是太有效率,有些新技術(shù)常常在很多場(chǎng)合并不適用或根本就是為了發(fā)論文粉飾出來(lái)的數(shù)據(jù)。
后來(lái)我的做法是對(duì)新技術(shù)剛開(kāi)始只需要做到了解其核心思想以及適用場(chǎng)合,同時(shí)花更多的時(shí)間擴(kuò)大技術(shù)視野的范圍,這樣對(duì)整個(gè)技術(shù)圈的發(fā)展能有更為全面的了解。對(duì)于與我們正在做的事情的有緊密相關(guān)技術(shù),我會(huì)邀請(qǐng)內(nèi)部或相關(guān)的專(zhuān)家一起深入討論,如果有市場(chǎng)潛力并且在我們能力范圍以?xún)?nèi),特別是結(jié)合我們的架構(gòu)優(yōu)勢(shì)能轉(zhuǎn)化為巨大市場(chǎng)優(yōu)勢(shì)的技術(shù),我們會(huì)進(jìn)行更為深入的研究甚至安排到后續(xù)的研發(fā)當(dāng)中。借用CNN里的術(shù)語(yǔ),簡(jiǎn)單說(shuō)就是一要擴(kuò)大 “感受野” ,二要“剪枝”。
我自從工作以來(lái),一直從事技術(shù)研發(fā)相關(guān)的工作,研發(fā)創(chuàng)新最大的挑戰(zhàn)就是要不斷的否定常規(guī),甚至否定自己,跳出既定的框框。可以說(shuō)關(guān)注新興的技術(shù)和相關(guān)的閱讀已經(jīng)變成了我日常的習(xí)慣和某種意義上休閑的方式,非常享受從中挖掘出一些趨勢(shì),結(jié)合自己的工作和興趣做些暢想。
我非常幸運(yùn)的能趕上視頻大數(shù)據(jù),人工智能以及存儲(chǔ)架構(gòu)變革的浪潮,這里面的市場(chǎng)和技術(shù)機(jī)會(huì)都非常的多, 自從離開(kāi)UTStarcom后,我的創(chuàng)業(yè)路途一直圍繞音視頻的發(fā)展,無(wú)論是視頻專(zhuān)用芯片的算法,到視頻處理的底層架構(gòu),再到現(xiàn)在視頻數(shù)據(jù)的應(yīng)用與AI的結(jié)合,我認(rèn)為自己有一個(gè)比較明確的目標(biāo),就是視頻是未來(lái)最重要的溝通方式,視頻處理技術(shù)一定要跟上爆發(fā)需求。同時(shí)我也非常幸運(yùn)的能和一幫志同道合的專(zhuān)家和高手一起研究新技術(shù)以及推動(dòng)一些新技術(shù)的發(fā)展,一起逐步實(shí)現(xiàn)我們對(duì)未來(lái)的憧憬。
目前我對(duì)大部分新技術(shù)只是因好奇心而關(guān)注,我以及公司都會(huì)盡量把精力聚焦在我們目前正在做的工作和技術(shù)上。我認(rèn)為一定要有基于自己專(zhuān)長(zhǎng)選擇的專(zhuān)注點(diǎn),不斷的圍繞這個(gè)專(zhuān)注點(diǎn)去反復(fù)推敲再慢慢延伸,否則,將會(huì)很容易不斷的去追隨熱點(diǎn),而在不斷的競(jìng)爭(zhēng)和打擊中被迫放棄,惡性循環(huán)。相信不久的將來(lái)我們打造的新一代創(chuàng)新產(chǎn)品能在這個(gè)技術(shù)日新月異的技術(shù)大潮中立穩(wěn)腳跟,真正成為這個(gè)視頻大數(shù)據(jù)時(shí)代各方諸侯手中的利器。
LiveVideoStack:能否描述一下您典型的一天的日程?幾點(diǎn)入睡,幾點(diǎn)起床?
周正寧:我喜歡夜晚安靜的工作和思考,同時(shí)因?yàn)閮傻貓F(tuán)隊(duì)的緣故,經(jīng)常凌晨3、4點(diǎn)入睡,早上一般9-10點(diǎn)起床,我可以說(shuō)是經(jīng)常享受太平洋東西兩岸凌晨4點(diǎn)的風(fēng)景為數(shù)不多的人之一吧:)。
LiveVideoStack:從清華紫光到Aupera傲睿智存,回顧(FPGA)硬件開(kāi)發(fā)這些年,您的體會(huì)和觀察到的行業(yè)現(xiàn)象是什么?
周正寧:FPGA行業(yè)發(fā)展非常快,性能越來(lái)越高,應(yīng)用范圍越來(lái)越廣。1997年大三時(shí)第一次用到可編程器件做項(xiàng)目時(shí),那時(shí)的PLD只有幾千門(mén),用來(lái)做簡(jiǎn)單譯碼和時(shí)序邏輯,到后來(lái)我工作中做加密算法的FPGA有幾萬(wàn)門(mén)到幾十萬(wàn)門(mén)。現(xiàn)在我們用到的FPGA除了基本的邏輯陣列功能以外還能夠集成CPU,SRAM以及各種IP硬核,芯片規(guī)模最大的到上百億門(mén),因此FPGA本身能做的事情越來(lái)越多,現(xiàn)在一顆FPGA就能成為一個(gè)完整的服務(wù)節(jié)點(diǎn),獨(dú)立完成復(fù)雜的工作,不再是只能作為加速引擎附屬在主機(jī)上。
就視頻行業(yè)來(lái)說(shuō),真正最高端的編碼器還是FPGA方案, FPGA的可編程高度靈活的并行計(jì)算,能夠非常好的兼顧編碼質(zhì)量與性能。當(dāng)然近些年來(lái)興起的GPU,CPU+硬編碼等方案使編解碼市場(chǎng)競(jìng)爭(zhēng)更為激烈,但從特定市場(chǎng)來(lái)看,特別對(duì)于新興算法,實(shí)時(shí)高質(zhì)量編碼,AI融合編解碼上,FPGA的優(yōu)勢(shì)還是非常明顯。個(gè)人認(rèn)為CPU,GPU,FPGA這三種方案在視頻應(yīng)用市場(chǎng)上各有優(yōu)勢(shì),他們之間的功能和性能上也有互相靠攏的趨勢(shì)。
LiveVideoStack:您如何看專(zhuān)用集成電路RISC、FPGA的前景?在多媒體生態(tài)中,專(zhuān)用集成電路在當(dāng)下為未來(lái)有哪些重度應(yīng)用場(chǎng)景?
周正寧:當(dāng)一個(gè)應(yīng)用或算法成熟時(shí),針對(duì)特定市場(chǎng)的ASIC有不可比擬的性?xún)r(jià)比和能耗比,但由于ASIC一定是針對(duì)特定的市場(chǎng),為了極大化性?xún)r(jià)比,會(huì)對(duì)一部分功能進(jìn)行裁減優(yōu)化,因此開(kāi)發(fā)或應(yīng)用ASIC需要搞清楚應(yīng)用場(chǎng)景和范圍。
ASIC從研發(fā)到市場(chǎng)的周期很長(zhǎng),而由于技術(shù)本身的不斷變化,當(dāng)ASIC面市時(shí),某些新的算法或功能很難加入,所以個(gè)人并不看好ASIC在一些正在快速迭代的技術(shù)上的應(yīng)用。反觀FPGA,用可編程邏輯實(shí)現(xiàn)成熟算法并無(wú)優(yōu)勢(shì),不過(guò)最新的FPGA能夠集成各種硬IP (如HEVC等) ,使這方面可以達(dá)到與ASIC同樣性?xún)r(jià)比和能耗比,加之其具有的可編程硬件算法優(yōu)勢(shì),在融合快速迭代技術(shù)的實(shí)現(xiàn)上具有明顯優(yōu)勢(shì)。在競(jìng)爭(zhēng)白熱化的今天,云端服務(wù)提供商如何能快速響應(yīng)新功能從而做到差異化服務(wù)顯得尤為重要,而這種情況下,FPGA可能是性?xún)r(jià)比和能耗比最優(yōu)方案。
對(duì)于ASIC 重度應(yīng)用場(chǎng)景,我認(rèn)為首先是在終端應(yīng)用,特別是一些功耗受限的設(shè)備,專(zhuān)用集成電路是剛性需求。包括比如內(nèi)容的實(shí)時(shí)編解碼及VR/AR場(chǎng)景實(shí)時(shí)拼接,人臉應(yīng)用,語(yǔ)音識(shí)別/合成以及一些泛AI應(yīng)用。在云端場(chǎng)景,采用成熟的H.264/HEVC,ASIC加速非常適合于海量視頻實(shí)時(shí)編解碼場(chǎng)合的應(yīng)用,比如說(shuō)WebRTC的MCU。WebRTC是典型的低延時(shí)實(shí)時(shí)編解碼場(chǎng)景,許多軟件編碼具有優(yōu)勢(shì)的VQ優(yōu)化和RC算法派不上用場(chǎng),這方面ASIC的性?xún)r(jià)比和能耗比具有絕對(duì)的優(yōu)勢(shì)。
LiveVideoStack:就WebRTC而言,大規(guī)模互動(dòng)的場(chǎng)景下,如何實(shí)現(xiàn)性能穩(wěn)定的MCU就成為系統(tǒng)的關(guān)鍵。專(zhuān)用集成電路/FPGA是如何在這里場(chǎng)景下發(fā)揮威力的?
周正寧:在WebRTC的實(shí)踐中,SFU和MCU模式各有優(yōu)勢(shì)和缺點(diǎn)。通常由于軟件轉(zhuǎn)碼混流的成本非常高,加之大多數(shù)云架構(gòu)采用虛擬化技術(shù),軟件轉(zhuǎn)碼混流任務(wù)的延時(shí)很難保證,因此大多數(shù)WebRTC服務(wù)端采用SFU模式,讓服務(wù)器只做中轉(zhuǎn)工作,而把繁重的任務(wù)交給客戶(hù)端來(lái)完成。
隨著網(wǎng)絡(luò)環(huán)境的不斷進(jìn)化,以及各種新的音視頻編碼應(yīng)用到WebRTC中,采用SFU模式的客戶(hù)端的負(fù)擔(dān)將會(huì)越來(lái)越重,功能也會(huì)越來(lái)越復(fù)雜以適應(yīng)各種兼容性問(wèn)題。特別對(duì)于手機(jī)等功耗受限的設(shè)備硬件配置參差不齊,雖然像SVC這樣的技術(shù)從原理上說(shuō)非常合理,但真正落地到實(shí)踐中如何保證用戶(hù)體驗(yàn)還是非常具有挑戰(zhàn)性。當(dāng)然也有不少公司提供終端“盒子”的方式來(lái)搭建基于SFU模式的會(huì)議系統(tǒng),這種方式不但保證編解碼性能和兼容性,還能夠加入各種實(shí)用的附加功能,從用戶(hù)體驗(yàn)上說(shuō)確實(shí)會(huì)好于普通終端網(wǎng)頁(yè)方式,但這種方式推廣上需要龐大的硬件零售的銷(xiāo)售渠道和售后服務(wù)支撐,實(shí)施難度要遠(yuǎn)遠(yuǎn)大于基于標(biāo)準(zhǔn)WebRTC的方案,如果考慮到將來(lái)AV1或其他新的音視頻編碼的應(yīng)用,已售出的“盒子”怎樣升級(jí)和替換也將是一個(gè)值得思考的問(wèn)題。
MCU解決方案在網(wǎng)絡(luò)速率的適配和視頻編解碼兼容性上有天生的優(yōu)勢(shì):局端轉(zhuǎn)碼,對(duì)客戶(hù)端的編解碼性能和兼容性要求大大降低;局端混流,大大降低會(huì)議系統(tǒng)的帶寬成本,大幅提高弱網(wǎng)情況下客戶(hù)端的用戶(hù)體驗(yàn),也降低客戶(hù)端的軟件開(kāi)發(fā)難度;由于部署在IDC機(jī)房,與會(huì)方之間的AV同步更容易保證, 特別賽事直播領(lǐng)域中的主播PK等高同步要求應(yīng)用,MCU的方式具有很大優(yōu)勢(shì);
而針對(duì)傳統(tǒng)MCU解決方案的缺點(diǎn),采用硬件加速的MCU解決方案從根本上解決傳統(tǒng)MCU解決方案中的性?xún)r(jià)比和延遲抖動(dòng)問(wèn)題。同時(shí)針對(duì)于支持新的音視頻編碼和AI附加功能,硬件FPGA方案能夠及時(shí)調(diào)整內(nèi)部硬件算法適應(yīng)不同的工作任務(wù),運(yùn)維人員只需要一次性云端部署就能完成整個(gè)系統(tǒng)的升級(jí),而不需要龐大的客戶(hù)端插件/軟件/硬件盒子升級(jí)計(jì)劃。
對(duì)于有存儲(chǔ)要求的,硬件解決方案支持以離線(xiàn)模式線(xiàn)速轉(zhuǎn)碼存儲(chǔ),比SFU直存更節(jié)省空間。
LiveVideoStack:UTStarcom經(jīng)歷了小靈通時(shí)代的 “曇花一現(xiàn)”。作為一名技術(shù)人,您如何理解技術(shù)在企業(yè)生命周期中的作用?
周正寧:我自己對(duì)UTStarcom極有感情,經(jīng)歷了UTStarcom從小到大,盛極而衰的過(guò)程,公司里有一大批極具才華的工程師和專(zhuān)家,但很遺憾最終沒(méi)能成長(zhǎng)為行業(yè)領(lǐng)頭羊。我認(rèn)為技術(shù)在企業(yè)生命周期中的作用在于生根發(fā)芽,只有技術(shù)的領(lǐng)先和扎實(shí),才能夠保證企業(yè)的根基雄厚,并能長(zhǎng)出健康的樹(shù)芽,這是技術(shù)型企業(yè)最關(guān)鍵但也是最基礎(chǔ)的一個(gè)元素,企業(yè)生命周期中還有更多更重要的因素,包括團(tuán)隊(duì),技術(shù)落地,時(shí)點(diǎn)把握等等,都是保證企業(yè)發(fā)展壯大成為參天大樹(shù)的更為重要的因素。
LiveVideoStack:可以預(yù)見(jiàn)的是,隨著5G的到來(lái),網(wǎng)絡(luò)帶寬進(jìn)一步提升,多媒體應(yīng)用更具想象空間。在多媒體相關(guān)領(lǐng)域(或具體的應(yīng)用場(chǎng)景中),您認(rèn)為哪些技術(shù)具備快速發(fā)展和應(yīng)用的潛力?
周正寧:5G的到來(lái)意味著移動(dòng)網(wǎng)絡(luò)延遲大幅降低,移動(dòng)帶寬大幅增加,以及單位帶寬成本的大幅降低。可以預(yù)見(jiàn)到:
互聯(lián)網(wǎng)上視頻內(nèi)容進(jìn)一步增加,對(duì)越來(lái)越多的視頻特別是高清視頻內(nèi)容如何快速高效挖掘的技術(shù)將非常有前景。
網(wǎng)絡(luò)延遲的大幅降低將凸顯其他系統(tǒng)延遲的影響,特別是編解碼的延遲和抖動(dòng)對(duì)用戶(hù)體驗(yàn)的影響占比會(huì)大幅增加, 采用硬件技術(shù)來(lái)保證其用戶(hù)體驗(yàn)將會(huì)越來(lái)越普遍。
隨時(shí)隨地視頻通話(huà)更為普遍,隨之而來(lái)的兼容性問(wèn)題會(huì)更加突出(更為復(fù)雜的網(wǎng)絡(luò)速率匹配,更多分辨率適配,更復(fù)雜的流控算法,更多的客戶(hù)端版本), 考慮到用戶(hù)體驗(yàn),結(jié)合部署應(yīng)用成本和運(yùn)營(yíng)成本的權(quán)衡,硬件加速的MCU模式將會(huì)越來(lái)越流行。
人們對(duì)網(wǎng)上直播/實(shí)時(shí)會(huì)議/教育的視頻質(zhì)量期望大幅提高,更高清晰度的視頻意味著更大的存儲(chǔ)空間,如何離線(xiàn)壓制保存這部分內(nèi)容的技術(shù)值得關(guān)注。
WebRTCon 2018
繼2017年第一屆LiveVideoStackCon音視頻技術(shù)大會(huì)之后,LiveVideoStack又一次出發(fā)——WebRTCon 2018,將于5月在上海舉行,這是一次對(duì)過(guò)去幾年WebRTC技術(shù)實(shí)踐與應(yīng)用落地的總結(jié)。
WebRTCon 2018設(shè)立了主題演講,WebRTC與前端,行業(yè)應(yīng)用專(zhuān)場(chǎng),測(cè)試監(jiān)控和服務(wù)保障,娛樂(lè)多媒體開(kāi)發(fā)應(yīng)用實(shí)踐,WebRTC深度開(kāi)發(fā),解決方案專(zhuān)場(chǎng),WebRTC服務(wù)端開(kāi)發(fā),新技術(shù)跨界,WebRTC與Codec等多個(gè)專(zhuān)場(chǎng)。邀請(qǐng)30余位全球領(lǐng)先的WebRTC技術(shù)專(zhuān)家,為參會(huì)者帶來(lái)全球同步的技術(shù)實(shí)踐與趨勢(shì)解讀。本文受訪(fǎng)者也將出席,為大家分享有關(guān)硬件加速方案在WebRTC實(shí)踐中帶來(lái)的新體驗(yàn),并深入探討WebRTC的SFU和MCU模式的優(yōu)缺點(diǎn)。
點(diǎn)擊 [ 閱讀原文 ] 了解相關(guān)活動(dòng)信息,快來(lái)報(bào)名吧!
總結(jié)
以上是生活随笔為你收集整理的周正宁:研发最大的挑战是不断否定常规 否定自己的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 学习多媒体开发的正确姿势?陈功:看书 啃
- 下一篇: 搞多媒体开发?吴威麒:先拉个书单看看