背景

CDN是非常重要的互聯(lián)網(wǎng)基礎(chǔ)設(shè)施，用戶可以通過CDN，快速的訪問網(wǎng)絡(luò)中各種圖片，視頻等資源。在訪問過程中，CDN會(huì)產(chǎn)生大量的日志數(shù)據(jù)，而隨著如今越來越復(fù)雜的網(wǎng)絡(luò)環(huán)境變化，和業(yè)務(wù)的迅速增長，日志數(shù)據(jù)變得更大量、更多維度。這些數(shù)據(jù)通常都與用戶的下一步業(yè)務(wù)決策息息相關(guān)。

在與CDN用戶的溝通中，我們發(fā)現(xiàn)通常用戶會(huì)面臨以下困境：

??用戶無數(shù)據(jù) :?CDN的訪問日志，由各大CDN產(chǎn)商上產(chǎn)生，用戶不可直接獲取。現(xiàn)階段，絕大部分的CDN產(chǎn)商都只提供離線日志下載，日志數(shù)據(jù)從產(chǎn)生，到用戶可下載，需要幾十分鐘到數(shù)個(gè)小時(shí)不等。這樣大的數(shù)據(jù)產(chǎn)生延時(shí)，大大削減了實(shí)時(shí)流處理、報(bào)警等高實(shí)時(shí)性要求場景的分析價(jià)值。

??多種分析需求：為了解決各類定制化的分析需求，通常的做法是搭建和運(yùn)維開源系統(tǒng)，如用于做數(shù)據(jù)通道的kafka、流式分析的storm或flink、做數(shù)據(jù)分析的spark、hadoop等。

??可視化需求：對于最終的分析結(jié)果的展示，依賴數(shù)據(jù)庫（結(jié)果集小）、HBase（結(jié)果集大）存儲(chǔ)結(jié)果，再通過對接各可視化工具來完成。

綜上所述，更實(shí)時(shí)地、詳細(xì)地關(guān)注和分析日志的需求逐漸顯露，但是普通用戶對CDN日志進(jìn)行實(shí)時(shí)、離線分析又并不容易，需要付出搭建、運(yùn)維和管理成本，為了完成需求，有時(shí)還需要編寫不少代碼，但最終并不一定能得到很好的效果。整個(gè)CDN實(shí)時(shí)日志涉及的環(huán)節(jié)多，對服務(wù)質(zhì)量也有嚴(yán)苛的要求，技術(shù)挑戰(zhàn)比較大。那有沒有更好的解決辦法么？

CDN實(shí)時(shí)日志一站式解決方案上線

近期，阿里云CDN上線了實(shí)時(shí)日志功能，打通日志服務(wù)(SLS)的能力，將CDN采集的實(shí)時(shí)日志，在小于60秒的時(shí)間內(nèi)投遞至日志服務(wù)，進(jìn)行實(shí)時(shí)、交互式分析和報(bào)表呈現(xiàn)。通過CDN日志的實(shí)時(shí)分析，可以快速的發(fā)現(xiàn)和定位問題，進(jìn)而對日志數(shù)據(jù)的挖掘，提高數(shù)據(jù)的決策能力，將業(yè)務(wù)推向一個(gè)新的高度。點(diǎn)擊跳轉(zhuǎn)CDN實(shí)時(shí)日志專題頁，了解功能詳情。

CDN實(shí)時(shí)日志服務(wù)與日志下載的區(qū)別

CDN實(shí)時(shí)日志為實(shí)時(shí)采集的日志數(shù)據(jù)，日志數(shù)據(jù)延遲平均不超過30秒。同時(shí)，CDN打通了日志服務(wù)分析的能力，為客戶定制4張分析報(bào)表，可快速對日志進(jìn)行分析，發(fā)現(xiàn)問題，及時(shí)決策。而CDN提供的離線日志下載，只能下載4小時(shí)前的每小時(shí)日志數(shù)據(jù)。

CDN實(shí)時(shí)日志系統(tǒng)中簡化的數(shù)據(jù)流向如下圖構(gòu)成：

??數(shù)據(jù)實(shí)時(shí)采集 :?在直播推流、播放期間，都會(huì)產(chǎn)生大量日志，需要在秒級延時(shí)內(nèi)，實(shí)時(shí)采集這些日志到日志中心。

??數(shù)據(jù)清洗：日志采集后，對數(shù)據(jù)進(jìn)行清洗，以滿足不同場景的處理需求（如，對不同域名日志的定制化分析）。

??數(shù)據(jù)處理和存儲(chǔ) :?對于不同的應(yīng)用場景，數(shù)據(jù)的處理和存儲(chǔ)方式也不盡相同 。

實(shí)時(shí)處理 : 在秒級別對海量數(shù)據(jù)進(jìn)行實(shí)多維度聚合統(tǒng)計(jì)分析。

表格存儲(chǔ) : 實(shí)時(shí)統(tǒng)計(jì)后的各類監(jiān)控指標(biāo)。

對象存儲(chǔ) : 日志打包壓縮，供用戶離線下載。

數(shù)據(jù)倉庫 : 數(shù)據(jù)離線分析、用戶行為分析、物業(yè)報(bào)表等場景。

CDN實(shí)時(shí)日志的價(jià)值

1. 實(shí)時(shí)

傳統(tǒng)的日志分析模式，需要您將日志下載后，重新上傳至數(shù)據(jù)倉庫，在數(shù)據(jù)倉庫進(jìn)行一系列的清洗和數(shù)據(jù)模型定義后，再進(jìn)數(shù)據(jù)分析，這個(gè)過程需要維護(hù)的人力較多，時(shí)間較長。

CDN實(shí)時(shí)日志可以從全球多個(gè)區(qū)域、數(shù)萬節(jié)點(diǎn)實(shí)時(shí)采集日志，通常延時(shí)不超過60秒，否則日志的實(shí)時(shí)價(jià)值大打折扣。同時(shí)，在開通服務(wù)后，CDN將日志數(shù)據(jù)自動(dòng)投遞到日志服務(wù)(SLS)，免去繁瑣的傳統(tǒng)日志分析的流程，實(shí)時(shí)查看日志分析結(jié)果。

2. 無需寫代碼，無需運(yùn)維

前面也提到，想要自行搭建日志系統(tǒng)，解決業(yè)務(wù)定制化的需求，開發(fā)、運(yùn)維、管理的成本是比較高的，接入CDN實(shí)時(shí)日志系統(tǒng)，可以讓開發(fā)者回歸業(yè)務(wù)的創(chuàng)新和性能本身，減少不必要的投入。

3. 多維度SQL分析，秒級10億+規(guī)模

CDN實(shí)時(shí)日志系統(tǒng)支持每天千億、萬億的日志7*24小時(shí)不間斷采集，并實(shí)時(shí)對海量日志進(jìn)行多維度分析，流計(jì)算系統(tǒng)在毫秒級。讓用戶遠(yuǎn)離日志分析中的各類繁雜“瑣事”，更加專注于和業(yè)務(wù)更緊密、更有價(jià)值的數(shù)據(jù)“分析”上。

同時(shí)，實(shí)時(shí)日志可以輕松應(yīng)對數(shù)據(jù)處理組合維度大、計(jì)算復(fù)雜度大、各類流量高峰沖擊等業(yè)務(wù)場景。保存日志供用戶下載的對象存儲(chǔ)系統(tǒng)（Oss）可提供數(shù)據(jù)高吞吐下載能力，復(fù)雜的分析場景，可由數(shù)倉系統(tǒng)來支持。

4. 數(shù)據(jù)可視化及大數(shù)據(jù)挖掘

最終分析結(jié)果的展示也非常關(guān)鍵，CDN實(shí)時(shí)日志可以為用戶提供基于業(yè)務(wù)的可視化報(bào)表服務(wù)，用戶可輕松地掌控業(yè)務(wù)健康度、緩存命中率、平均下載速度、流量情況、網(wǎng)速、運(yùn)營商、延時(shí)分布等數(shù)據(jù)。

5.日志、監(jiān)控、告警聯(lián)動(dòng)的一站式解決方案

在CDN場景下，對服務(wù)的可用性、性能要求苛刻，需要對于各類異常進(jìn)行實(shí)時(shí)、準(zhǔn)確的報(bào)警，這就需要依賴可靠的監(jiān)控報(bào)警系統(tǒng)。CDN日志系統(tǒng)未來將和監(jiān)控、告警、處理機(jī)制聯(lián)動(dòng)，自動(dòng)化的解決常規(guī)問題，縮短業(yè)務(wù)故障的時(shí)間，避免用戶損失。

五、典型應(yīng)用場景

1. 直播推流

在直播場景下，CDN日志實(shí)時(shí)投遞至日志服務(wù)之后，可以做幾個(gè)典型的實(shí)時(shí)分析。

直播推流數(shù)據(jù)非常重要，當(dāng)有了直播推流的日志之后，可掌控推流端各種實(shí)時(shí)狀態(tài)：

??推流概覽 :?實(shí)時(shí)知道當(dāng)前的推流數(shù)量、各個(gè)推流的流量和速度、從各省、運(yùn)營商維度統(tǒng)計(jì)
??推流質(zhì)量：多維度的推流質(zhì)量統(tǒng)計(jì)、重點(diǎn)推流的實(shí)時(shí)質(zhì)量監(jiān)控
??錯(cuò)誤根源追蹤：快速定位錯(cuò)誤產(chǎn)生的源頭（直播源、服務(wù)端、客戶端、運(yùn)營商）

下圖是直播推流的各項(xiàng)監(jiān)控統(tǒng)計(jì)，從整體的推流質(zhì)量上來看，99%以上的推流都是正常的，說明推流的質(zhì)量非常好。

下表統(tǒng)計(jì)了各類錯(cuò)誤的產(chǎn)生原因，可以看到最大的錯(cuò)誤來源是客戶端主動(dòng)斷開。

2.CDN下行

播放端（CDN下行）是用戶直接接觸，其質(zhì)量直接決定用戶觀看體驗(yàn)，在下行日志中，我也可以從多個(gè)維度進(jìn)行分析：

??整體質(zhì)量：
健康度 : 在所有的訪問中，有多少請求是成功的
Cache命中率 : 命中率越高，用戶訪問延時(shí)越低，體驗(yàn)越好
下載速度 : 這也是關(guān)系到播放質(zhì)量的重要因素

??多維度分析：
top域名訪問次數(shù)、流量 : 重點(diǎn)域名的訪問質(zhì)量
地域、運(yùn)營商統(tǒng)計(jì)：各個(gè)鏈路的質(zhì)量
下載量、速度、延時(shí)：多項(xiàng)關(guān)鍵指標(biāo)

??錯(cuò)誤診斷：
實(shí)時(shí)錯(cuò)誤QPS、比例 : 整體錯(cuò)誤情況
錯(cuò)誤Top 域名、URI : 錯(cuò)誤是否和自身相關(guān)
錯(cuò)誤Top 地域、運(yùn)營商 : 錯(cuò)誤是否和外部因素相關(guān)
錯(cuò)誤客戶端分別 : 是否是新發(fā)布版本引入的問題

在下圖中，可以看到，絕大部分錯(cuò)誤，都是發(fā)生在這個(gè)客戶端版本，就需要懷疑是不是新的版本發(fā)布帶來的呢？

3.用戶行為分析

用戶的訪問行為，最終可體現(xiàn)在日志上，通過日志的分析，了解到用戶是如何進(jìn)行訪問的，哪些資源是熱門資源，通過用戶的來源，更清楚了解用戶來源，以后的運(yùn)營推廣也可以更具有針對性，除此之外，對異常IP進(jìn)行監(jiān)控，可更早發(fā)現(xiàn)異常，如高頻訪問的IP，是否存在爬取數(shù)據(jù)的嫌疑。

Demo演示：

當(dāng)系統(tǒng)出現(xiàn)報(bào)警或有用戶投訴的情況下，通用的處理流程往往是相似的：

• 整體概述：整體訪問是否正常？
• 縮小范圍：是局部錯(cuò)誤么，是哪個(gè)域名，或是哪個(gè)區(qū)域，再或者只是某個(gè)用戶？
• 精準(zhǔn)定位：縮小調(diào)查范圍后，可對局部數(shù)據(jù)進(jìn)行同比、環(huán)比的對比；觀察更詳細(xì)的日志；多個(gè)維度進(jìn)行Adhoc的query分析。

在這個(gè)過程中可以發(fā)現(xiàn)，整個(gè)分析流程，是從上到下、從面到點(diǎn)、交互式的分析，涉及到Drill Down/Roll Up等多方面。因此，靈活和方便是系統(tǒng)必備的兩項(xiàng)。在以下的視頻中，展示如何在日志服務(wù)中，對CDN日志進(jìn)行交互式的分析。

另外，我們也提供了一個(gè)Demo，可以實(shí)際體驗(yàn)一下Mock的CDN日志分析：Demo連接

六、接入流程

目前實(shí)時(shí)日志功能已經(jīng)在CDN控制臺(tái)上線，用戶可以通過簡單操作，快速的、無障礙的使用CDN實(shí)時(shí)日志的能力。主要步驟如下：

登錄CDN控制臺(tái)。

在左側(cè)導(dǎo)航欄，單擊日志。

在日志頁，單擊實(shí)時(shí)日志推送。

單擊一鍵創(chuàng)建日志服務(wù)。

配置Project、Logstore、地域等信息，然后單擊下一步。

選擇關(guān)聯(lián)域名并綁定，然后單擊創(chuàng)建。

七、計(jì)費(fèi)方式與活動(dòng)

通常，實(shí)時(shí)日志按照推送成功條數(shù)，每萬條0.06元進(jìn)行付費(fèi)，該費(fèi)用已經(jīng)包含日志服務(wù)分析的費(fèi)用。因此，在一定使用邊界內(nèi)，您無需支付任何的日志服務(wù)費(fèi)用。

但是在以下情況下，您還需要支付日志服務(wù)的費(fèi)用：
1．日志存儲(chǔ)超過7天的存儲(chǔ)部分，由日志服務(wù)單獨(dú)收費(fèi)。
2．日志服務(wù)的外網(wǎng)讀寫費(fèi)用。

?

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的大数据驱动业务决策，CDN实时日志重磅上线的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。