工作中有一套hadoop集群，該集群也作為對(duì)外的nginx服務(wù)，用來存儲(chǔ)了大量的圖片。

近期nginx訪問經(jīng)常出現(xiàn)超時(shí)訪問的情況。

查看log，發(fā)現(xiàn)原來的report 頻率為1小時(shí)一次，但是由于report 需要收集datanode 上的block使用情況，（該機(jī)的block達(dá)到上百萬級(jí)別），會(huì)造成讀和寫的阻塞。

解決方法：

<property>
? <name>dfs.blockreport.intervalMsec</name>
? <value>86400000</value>
? <description>Determines block reporting interval in milliseconds.</description>
</property>

修改hdfs-site.xml中 blockreport 的間隔參數(shù) 。

然后重啟datanode?

?./hadoop-daemon.sh stop datanode

?./hadoop-daemon.sh start datanode

hadoop 可能還是不適合做這種大量存儲(chǔ)小圖片的方案啊，要不然的話得做些代碼級(jí)別的優(yōu)化。

轉(zhuǎn)載于:https://www.cnblogs.com/jinjin666/archive/2013/01/29/2881627.html

總結(jié)

以上是生活随笔為你收集整理的hadoop之blockreport的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。