Serverless工作流來了！

發布會傳送門

搶先了解Serverless技術干貨

4月，阿里云Serverless工作流正式商業化，這是一款用于協調多個分布式任務執行的全托管 Serverless 云服務。產品致力于簡化開發和運行業務流程所需要的任務協調、狀態管理以及錯誤處理等繁瑣工作，讓用戶聚焦業務邏輯開發。

精準打造云上自動生產線，Serverless工作流正式商用

工作流是一種非常常見的場景，比如企業內部審批、采購訂單、ETL等日常企業事務，或者大數據處理流水線，常規或定制化自動化運維等。此外，音視頻行業的多媒體文件分片轉碼、格式轉換、審核校驗和人臉識別等長時任務，電商旅游行業的客戶線上訂單，AI行業的機器學習流水線， 生信行業的基因測序工作流。

這些場景面臨著以下難點：一般由眾多異步分布式任務組成，控制邏輯和任務邏輯交織在一起，流程復雜冗長；分布式任務可能跨越公共云和本地機房，安全的打通網絡代價很大；整個工作流執行完畢耗時過長，造成資源占用的浪費；涉及異步且關鍵業務流程，務必保證數據一致性；繁復的執行步驟如何進行可視化監控等等。

Serverless工作流正式針對這些痛點，分離控制邏輯與任務邏輯，細化責任，便于管理和維護； 將流程以模版方式統一定義控制，簡化編排，通過串聯或并行等多種方式編排任務；支持函數，隊列，云服務等多種任務類型，打通公共云和企業內網；支持最長1年的執行任務，但卻采用Serverless計費模型， 按需付費；動態調用并發函數，保持狀態和消息的持久化，信息不丟失且最終同步，提高容錯性，自動處理異常；流程進度可視化，歷史執行可追溯性等等。

助力圖森未來，自動化數據處理平臺， 讓一切簡單可靠

圖森未來是一家專注于L4級別無人駕駛卡車技術研發與應用的人工智能企業，面向全球提供可大規模商業化運營的無人駕駛卡車技術，為全球物流運輸行業賦能。目前已完成D輪融資，估值超過10億美元。無人駕駛技術研發依賴大量的路測試驗數據積累，而高效進行路測、快速對路測數據進行處理來指導模型的更新迭代是這類場景的核心訴求。

路測過程中會有大量數據產生，而對這些數據的處理流程則復雜多變，即使對于同一批數據，不同的業務小組也會有不同的使用及處理方式。如何有效管理不同的數據處理流程、降低人為介入頻率能夠大幅的提高生產效率。

路測不定時運行的特點使得流程編排任務運行時間點、運行時長具有極大的不確定性，本地機房獨自建立流程管理系統難以最大優化機器利用率，造成資源浪費。而圖森未來本地已有許多單元化業務處理腳本及應用程序，但因為各種限制而無法全量的遷移上云，這也對如何合理化使用云上服務帶來了挑戰。

另外，由于處理流程的步驟繁多，不同任務間的數據共享變得十分重要。任務之間在相互依賴的情況下，非常考驗系統可靠性。因此，對于復雜流程的步驟間的狀態及數據管理也是業務所面臨的一項挑戰。

針對上述情況，圖森未來開始探索數據處理平臺的自動化。阿里云 Serverless 工作流按執行調度的次數計費，具有易用易集成、運維簡單等諸多優點，能夠很好的解決上述場景中所遇到的問題，非常適合這類不定時運行的離線任務場景。Serverless 工作流還支持編排本地或自建機房的任務，圖森未來通過使用 Serverless 工作流原生支持的消息服務MNS解決了云上云下的數據打通問題，使得本地的原有任務得到很好的編排及管理。

除了調度外，Serverless 工作流也支持對任務的狀態及執行過程中所產生的數據進行維護。圖森未來通過使用任務的輸入輸出映射及狀態匯報機制，高效的管理了流程中各任務的生命周期及相互間的數據傳遞。

在未來，隨著業務規模的擴大，圖森未來將持續優化離線大數據處理流程的運行效率及自動化水平。通過各種探索，圖森未來將進一步提升工程團隊的效率，將更多的精力和資金投入到業務創新中去。

Serverless工作流更多應用場景

各個公司會有如下的一些典型工作流場景。這里簡單介紹三個典型應用：
訂單流程審批，可支持1年執行時長
對于電商、旅行行業的訂單，或者企業內部的日常各類申請， 從下發到生效都要經過多個環節，需要跨公司辦公網絡和公共云的多網絡環境，途徑多個環節的多步驟分布式，可能涉及人工介入，最終數據確保強一致性。目前Serverless工作流默認的支持最長 1 年的執行，以及并行觸發 1 萬個流程。

多媒體文件處理，降低失敗率、提升吞吐量
Serverless工作流同樣適用多任務編排，比如多媒體文件如轉碼、截幀、人臉識別、語音識別、審核上傳等各類處理。用戶可以編排成一個完整的處理流程，通過函數計算提交媒體處理(IMM)任務（或自建處理器），產出一個符合業務需求的輸出。各任務的執行錯誤異常可以被可靠的重試，大大提升多媒體任務處理吞吐量。
對于視頻點播、 視頻轉碼等重度依賴算力的任務如果采用Serverless方式搭建，將函數計算和Serverless工作流組合使用，僅需3人天便可上線落地。

自動化運維，流程進度可視化跟進
自動化運維常見有步驟繁瑣時間長短不一，單機腳本可靠性低，依賴復雜等常見的挑戰，另外進度無法可視化。Serverless 工作流+函數計算的流程可以很好地應對這些挑戰。例如軟件自動化部署從構建Docker容器，上傳容器鏡像，開始并追蹤各節點下拉鏡像并啟動新版本鏡像的容器，每一步函數產生的日志會被保存到日志服務可供查詢分享。基于工作流的自動化工具相比單機運維腳本具有高可用，自帶錯誤處理機制和進度圖形化的特點。

"Serverless 工作流是阿里云 Serverless 產品體系中的關鍵一環。" 阿里云 Serverless產品負責人楊皓然表示，“ 通過 Serverless 工作流，用戶能夠將函數計算、視覺智能平臺等多個阿里云服務，或者自建的服務，以簡單直觀的方式編排為工作流，迅速構建彈性高可用的云原生應用。”

據悉，阿里云在2017年推出函數計算， 該服務根據應用負載變化實時智能地彈性擴縮容，1分鐘完成上萬實例的伸縮并保證穩定的延時。目前已經支撐微博、芒果TV、華大基因、圖森未來、石墨科技等用戶的關鍵應用，輕松應對業務洪峰。

原文鏈接

本文為云棲社區原創內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的从图森未来的数据处理平台，看Serverless工作流应用场景的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。