原標(biāo)題：如何生成 Flink 作業(yè)的交互式火焰圖？

簡(jiǎn)介：Flink 是目前最流行的大數(shù)據(jù)及流式計(jì)算框架之一，用戶可以使用 Java/Scala/Python 的 DataStream 接口或者標(biāo)準(zhǔn) SQL 語(yǔ)言來(lái)快速實(shí)現(xiàn)一個(gè)分布式高可用的流式應(yīng)用，通過(guò)內(nèi)部的 Java JIT、off-heap 內(nèi)存管理等技術(shù)優(yōu)化性能，并且有完整的 Source、Sink、WebUI、Metrics 等功能集成，讓 Flink 幾乎成為了流式計(jì)算的事實(shí)標(biāo)準(zhǔn)。

前言

Flink 是目前最流行的大數(shù)據(jù)及流式計(jì)算框架之一，用戶可以使用 Java/Scala/Python 的 DataStream 接口或者標(biāo)準(zhǔn) SQL 語(yǔ)言來(lái)快速實(shí)現(xiàn)一個(gè)分布式高可用的流式應(yīng)用，通過(guò)內(nèi)部的 Java JIT、off-heap 內(nèi)存管理等技術(shù)優(yōu)化性能，并且有完整的 Source、Sink、WebUI、Metrics 等功能集成，讓 Flink 幾乎成為了流式計(jì)算的事實(shí)標(biāo)準(zhǔn)。

但是當(dāng)處理海量數(shù)據(jù)的時(shí)候，很容易出現(xiàn)各種異常和性能瓶頸，這時(shí)我們需要優(yōu)化系統(tǒng)性能時(shí)，常常需要分析程序運(yùn)行行為和性能瓶頸。Profiling 技術(shù)是一種在應(yīng)用運(yùn)行時(shí)收集程序相關(guān)信息的動(dòng)態(tài)分析手段，常用的 JVM Profiler 可以從多個(gè)方面對(duì)程序進(jìn)行動(dòng)態(tài)分析，如 CPU、Memory、Thread、Classes、GC 等，其中 CPU Profiling 的應(yīng)用最為廣泛。CPU Profiling 經(jīng)常被用于分析代碼的執(zhí)行熱點(diǎn)，如“哪個(gè)方法占用 CPU 的執(zhí)行時(shí)間最長(zhǎng)”、“每個(gè)方法占用 CPU 的比例是多少”等等，通過(guò) CPU Profiling 得到上述相關(guān)信息后，研發(fā)人員就可以輕松針對(duì)熱點(diǎn)瓶頸進(jìn)行分析和性能優(yōu)化，進(jìn)而突破性能瓶頸，大幅提升系統(tǒng)的吞吐量。

本文介紹我們?cè)谧鲂阅軆?yōu)化常用的火焰圖以及為如何集成火焰圖到通用的 Flink 作業(yè)中。

火焰圖介紹

火焰圖是《性能之巔》作者以及 DTrace 等一系列 Linux 系統(tǒng)優(yōu)化工具作者 Brendan Gregg 大神的作品之一，可以非常清晰地展示應(yīng)用程序的函數(shù)調(diào)用棧以及函數(shù)調(diào)用時(shí)間占比，基本原理是通過(guò)各種 agent 在程序運(yùn)行時(shí)采樣并輸出日志，使用 FlameGraph 工具把日志提取出來(lái)輸出可在瀏覽器交互式查看的 SVG圖片。

Uber 開(kāi)源了 jvm-profiler 項(xiàng)目，介紹如何為 Spark 應(yīng)用和 Java 應(yīng)用添加火焰圖支持，但是目前 Flink 社區(qū)和 jvm-profiler 官網(wǎng)都還沒(méi)有相關(guān)的使用教程。

實(shí)際上基于 JVM 的程序都可以使用這個(gè)工具，本文將基于 jvm-profiler 來(lái)介紹如何生成 Flink 作業(yè)的火焰圖。

下載和編譯 jvm-profiler

git clone git clone https://github.com/uber-common/jvm-profiler.git

mvn clean install -DskipTests=true -Dcheckstyle.skip -Dfast -T 8C

編譯好了之后，將項(xiàng)目 target 目錄下的 復(fù)制一份到 flink 的 lib 目錄下面。

cp target/ /usr/local/flink-1.11.1/lib

下載 FlameGraph

由于 jvm-profiler 支持生成火焰圖需要的日志文件，將日志轉(zhuǎn)化成交互式 SVG 圖片還是使用 Brendan Gregg 的FlameGraph 工具。

git clone

下載項(xiàng)目源碼即可，后面會(huì)使用 工具來(lái)生成圖片文件。

配置 Flink

對(duì)于 Flink 應(yīng)用，我們只需要在 TaskManager 中注入打點(diǎn)的 Java agent 即可，這里測(cè)試，我就使用本地 standalone 模式，修改 Flink conf 目錄下的 文件，添加一下如下配置：

: "-javaagent:/usr/local/flink-1.11.1/lib/=sampleInterval=50"

目前最小的采樣間隔就是 50 毫秒，然后啟動(dòng)集群和運(yùn)行一個(gè) Flink 作業(yè)：

./bin/start-cluster.sh

//運(yùn)行一個(gè)作業(yè)

./bin/flink run ./examples/streaming/

運(yùn)行之后可以看到 TaskManager 的 stdout 里面打印如下：

因?yàn)橐呀?jīng)注入 Java agent，因此在標(biāo)準(zhǔn)輸出中會(huì)定期添加火焰圖所需要的打點(diǎn)數(shù)據(jù)，然后使用下面的命令提取相關(guān)日志，并且使用 jvm-profiler 和 FlameGraph 提供的工具來(lái)生成 SVG 圖片文件。

//1、提取 stdout 文件中的相關(guān)日志

cat log/flink-zhisheng-taskexecutor-0-zhisheng.out | grep "ConsoleOutputReporter - Stacktrace:" | awk '{print substr($0,37)}' > stacktrace.json

//2、在 jvm-profiler 目錄下執(zhí)行下面命令

python ./stackcollapse.py -i /usr/local/flink-1.11.1/stacktrace.json > stacktrace.folded

//3、在 FlameGraph 目錄下執(zhí)行下面命令生成 SVG 圖片

./ /Users/zhisheng/Documents/github/jvm-profiler/stacktrace.folded > stacktrace.svg

然后用瀏覽器打開(kāi)剛才生成的 SVG 圖片就可以看到火焰圖信息。

總結(jié)

本文主要目的在于教大家如何利用 jvm-profiler 去生成 Flink 作業(yè)的運(yùn)行火焰圖，這樣可以在遇到性能瓶頸問(wèn)題的時(shí)候會(huì)很方便大家去定位問(wèn)題，關(guān)于如何去讀懂生成的火焰圖，后面可以再分享系列文章。

作者：田志聲

本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。返回搜狐，查看更多

責(zé)任編輯：

總結(jié)

以上是生活随笔為你收集整理的flink source 同步_如何生成 Flink 作业的交互式火焰图？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。