1. 測試環(huán)境

1.1 硬件

• CPU：Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz（8核）
• 內(nèi)存：16G

1.2 軟件

• Flume：1.6.0
• Hadoop：2.6.0-cdh5.5.0
• Kfaka：2.11-0.9.0.1
• JDK：1.8.0_91-b14 64位

1.3 測試文件

文件大小：107M ，共490010條記錄

1.4 Flume配置

（1）Source配置
Flume Source采用spooldir的方式，直接讀取預(yù)先準(zhǔn)備好的測試文件。

agent.sources.source1.type = spooldir agent.sources.source1.spoolDir=/data/flume/dir

（2）MemoryChannel配置

agent.channels.memoryChannel.capacity = 1000000 agent.channels.memoryChannel.transactionCapacity = 1000000 agent.channels.memoryChannel.type=memory

（3）FileChannel配置

agent.channels.fileChannel.type = file agent.channels.fileChannel.checkpointDir = /data/flume/checkpoint agent.channels.fileChannel.dataDirs = /data/flume/data

（4）JVM配置

JAVA_OPTS="-Xms256m -Xmx256m -Xss256k -Xmn128m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"

2. 寫入文件性能

Flume ConfigTime（s）Throughput（events/s）

MemoryChannel+FileSink	51	9608
FileChannel+FileSink	250	1960

3. 寫入Kafka性能

Flume ConfigTime（s）Throughput（events/s）

KafkaSink+MemoryChannel	57	8597
KafkaChannel	50	9800
KafkaSink+FileChannel	830	590

4. 寫入HDFS性能

Flume ConfigTime（s）Throughput（events/s）

FileChannel+HdfsSink	148	3311

總結(jié)

以上是生活随笔為你收集整理的Flume性能测试报告的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。