视频需求超平常数 10 倍,却节省了 60% 的 IT 成本投入是一种什么样的体验?
作者 | 山獵
近年來,Serverless 一直在高速發(fā)展,并呈現出越來越大的影響力。主流的云服務商也在不斷地豐富云產品體系,提供更好的開發(fā)工具,更高效的應用交付流水線,更好的可觀測性,更細膩的產品間集成,但一切才剛剛開始。
國內一些大公司已經有了一些成熟的 Serverless 應用案例,一些創(chuàng)業(yè)公司也開始加入 Serverless 陣營,如果說Serverless 到底解決了什么問題,核心就是節(jié)約成本、節(jié)省精力。
藍墨是一家由美國留學生回國創(chuàng)業(yè)的高科技公司,專注于移動互聯時代數字出版和移動學習領域的新技術研究及平臺運營,依托自主研發(fā)的藍墨移動交互式數字教材核心技術體系,為出版社、學校和教師提供移動交互式數字教材、校園移動學習平臺及教師自助數字出版等解決方案。
自 2012 年成立以來,藍墨的技術團隊對于一些開放的新技術抱有極大的熱情,并愿意應用快速迭代的互聯網新技術,來確保其業(yè)務系統(tǒng)穩(wěn)定運行。2020 年初,疫情期間,在線教育迎來需求爆發(fā)。為了應對高流量,藍墨加大了整合業(yè)界優(yōu)質課程資源的力度,不斷拓展自身的業(yè)務邊界,在贏得機遇的同時,技術團隊也面臨了前所未有的挑戰(zhàn)。
面臨挑戰(zhàn)
作為教學平臺,藍墨每天要處理大量視頻教材資源,涉及到視頻剪輯、切分、組合、轉碼、分辨率調整、客戶端適配等一系列復雜的技術工作,視頻處理相關業(yè)務是藍墨的技術團隊面臨的最大挑戰(zhàn)之一。通過幾年的技術實踐,藍墨技術團隊通過 FFmpeg 等技術已經建立起一整套自主可控視頻處理機制,支撐了業(yè)務的快速發(fā)展。但今年的業(yè)務增長速度讓藍墨的技術團隊始料未及,高峰期數十倍于往年的視頻處理需求讓現有的架構不堪重負,嚴重影響了用戶體驗。
高峰需求量難規(guī)劃,水平擴容難走通
面對挑戰(zhàn),最初藍墨技術團隊希望通過水平擴容解決問題,但在全天范圍內,視頻處理的需求量存在極為陡峭的波峰波谷,大量的任務發(fā)生在幾個高峰時間段,而且具有一定程度上的突發(fā)性。如果按照最高峰期的需求量來規(guī)劃系統(tǒng)容量,會造成計算資源的大量浪費,而且最高峰期的需求量到底是多少,也是很難預判的。如果采用錯峰處理的方式,可以降低計算資源成本,但對于用戶的需求得不到及時的處理。水平擴容方案因此被放棄。
自身業(yè)務邏輯要求,難以使用第三方的視頻轉碼服務
還有一種解決方案是直接使用云廠商提供的視頻轉碼服務,類似于 BaaS 的方式。采用這樣的方案的優(yōu)勢是,可以完全不用考慮容量規(guī)劃的問題,根據實際業(yè)務量按需調用云服務即可。但藍墨的視頻處理機制做得非常精細,包含著大量自定義的業(yè)務邏輯,需要使用代碼來實現,第三方的視頻轉碼服務根本無法滿足要求。
解決方案
推倒重來!藍墨現在的核心訴求概括有三個:節(jié)省成本、極致彈性、免運維,而這些恰恰是 Serverless 最擅長解決的問題。經過對國內云廠商提供的 Serverless 服務的多方面調研后,藍墨技術團隊一致認為在視頻處理領域阿里云函數計算是最適合他們的方案。
阿里云函數計算(Function Compute,簡稱 FC)是一個事件驅動的全托管 Serverless 計算服務,對于使用者而言,無需管理服務器等基礎設施,只需編寫代碼并上傳,函數計算會準備好計算資源,并以彈性、可靠的方式運行代碼。由于阿里云函數計算完全兼容現有的代碼邏輯,也能夠支持各類主流的開發(fā)語言,所以藍墨技術團隊可以把代碼邏輯以近乎無縫銜接的方式從原有的架構遷移到阿里云函數計算上,并且成本極低。通過對接 OSS 觸發(fā)器,只要 OSS 上有新的視頻源文件上傳,就能自動拉起函數計算實例,開啟一次視頻處理業(yè)務的生命周期。通過整合 Serverless 工作流,還能對分布式任務進行統(tǒng)一編排,實現對于大文件切片后進行并行處理并最終合并的復雜操作,更進一步的提升了處理效率。
對于藍墨的技術團隊而言,函數計算是一種完全按需調用的 Serverless 化方案,能夠充分利用云計算的彈性能力。
- 一方面,阿里云函數計算能夠在短時間內迅速調集上萬個實例的計算資源,實現視頻處理任務的快速執(zhí)行;
- 另一方面,由于不需要預留計算資源,也不需要對底層的軟硬件進行維護,可以極大地降低運營成本,讓藍墨技術團隊更專注于復雜業(yè)務邏輯的實現上。
相比于傳統(tǒng)的方式,基于阿里云函數計算的 Serverless 方案在視頻處理場景下,幫助藍墨節(jié)省了 60% 左右的 IT 成本投入。
在享受到函數計算所帶來的巨大價值后,藍墨也積極在視頻處理之外的其他業(yè)務領域探索可以進行 Serverless 化改造的場景,并成功落地了阿里云函數計算和日志服務的集成,當日志以流的方式源源不斷寫入時,日志服務會自動觸發(fā)函數計算對數據進行處理,分析日志中的重要信息,實現異常事件的報警,并按照業(yè)務規(guī)則把日志進行壓縮、轉換后存放到其他媒介中。函數計算集成了大量的阿里云服務如 OSS、OTS、MNS、CDN 等,也支持被其它云服務集成,其獨特的 callback機制幫助藍墨串聯起 OSS、SLS 等存儲服務,符合開發(fā)者的編寫習慣,無需為異步回調浪費大量的設計和容災。
藍墨技術團隊負責人表示,將來藍墨會將更多場景與阿里云函數計算進行整合,充分享受云原生的技術紅利,提升整個團隊的戰(zhàn)斗力。而阿里云也將一直與用戶站在一起,打贏接下來每一場漂亮的戰(zhàn)斗!
阿里云函數計算
阿里云是國內最早一批推出 Serverless 計算服務的企業(yè),函數計算(Function as a Service)更是 Serverless 中最具代表性的產品形態(tài)。可以說,藍墨并不是第一家享受到函數計算 FC 巨大價值的企業(yè),新浪微博、石墨文檔、芒果TV等都是函數計算的擁躉者。前不久,在2020可信云線上峰會上,阿里云函數計算FC通過了基礎能力要求、平臺可觀測能力、服務性能、服務和服務計量準確等21項測試,以全部滿分的成績通過了可信云函數即服務能力認證。此前,在 Forrester 發(fā)布的報告中,阿里云函數計算被給予“強勁表現者”的評價。
除了拓展更加豐富的產品形態(tài),阿里云函數計算也不斷優(yōu)化用戶體驗,包括做了硬盤掛載、預留實例、鏡像加速、大規(guī)模實例等業(yè)內領先的實踐,真正把用戶需求放在首位,沉下心來做對用戶更有價值的產品。
課程推薦
為了更多開發(fā)者能夠享受到 Serverless 帶來的紅利,這一次,我們集結了 10+ 位阿里巴巴 Serverless 領域技術專家,打造出最適合開發(fā)者入門的 Serverless 公開課,讓你即學即用,輕松擁抱云計算的新范式——Serverless。
點擊即可免費觀看課程:https://developer.aliyun.com/learning/roadmap/serverless
“Serverless 公眾號,發(fā)布 Serverless 技術最新資訊,匯集 Serverless 技術最全內容,定期舉辦 Serverless 活動與直播以及用戶最佳實踐發(fā)布。關注 Serverless 趨勢,更關注你在落地實踐中遇到的困惑和問題。”
總結
以上是生活随笔為你收集整理的视频需求超平常数 10 倍,却节省了 60% 的 IT 成本投入是一种什么样的体验?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 重磅发布 | 30+ 阿里巴巴云原生「顶
- 下一篇: SpringCloud 应用在 Kube