?lzop是開(kāi)源的壓縮算法框架。具體的介紹這里不再贅述，請(qǐng)去網(wǎng)上搜索。本文書(shū)寫如何在ubuntu上安裝lzop.

?所需軟件：gcc、g++，Apache ant,lzop,lzo,hadoop-lzo.gcc和g++ ubuntun上已經(jīng)集成的有。

?安裝lzo:

? ?hadoop@ubuntu:~$wget?http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz

? ?hadoop@ubuntu:~$ tar -zxvf lzo-2.06.tar.gz
? ?hadoop@ubuntu:~/lzo-2.06$./configure --enable-shared
? ?hadoop@ubuntu:~/lzo-2.06$ make &&sudo make install

? ?在32位系統(tǒng)機(jī)器內(nèi)將安裝后的庫(kù)文件復(fù)制到/usr/lib目錄下

? ?hadoop@ubuntu:~/lzo-2.06$cp /usr/local/lib/liblzo2* /usr/lib

?安裝lzop:

? ?hadoop@ubuntu:~$sudo apt-get install lzop

?安裝配置ant:

? ?hadoop@ubuntu:~$sudo apt-get install ant

?下載hadoop-lzo:

? ?下載地址:https://github.com/toddlipcon/hadoop-lzo

? ? 解壓壓縮包，進(jìn)入解壓文件夾內(nèi)，運(yùn)行 ant package?

? ? 如果報(bào)找不到hadoop相關(guān)類的錯(cuò)誤，修改build.xml 中

? ??<javah classpath="${build.classes}"為<javah classpath="/usr/hadoop-1.1.1/hadoop-core-1.1.1.jar:${build.classes}" 然后再運(yùn)行。記著你自己安裝的hadoop-core jar包的路勁，別粘成我的了啊！

修改hadoop配置：

? ?把你編譯的hadoop-lzo-0.4.15.jar（在build文件夾下)拷貝到 $HADOOP_HOME/lib下，同時(shí)把hadoop-lzo-0.4.15/lib/native下的jar包拷貝到 $HADOOP_HOME/lib/native下

? 修改core-site.xml

<property>?

<name>mapred.compress.map.output</name>?

<value>true</value>?

</property>?

<property>?

<name>mapred.map.output.compression.codec</name>?

<value>com.hadoop.compression.lzo.LzoCodec</value>?

</property>?

<property>?

<name>io.compression.codecs</name>?

<value>org.apache.hadoop.io.compress.GzipCodec,?

org.apache.hadoop.io.compress.DefaultCodec,?

org.apache.hadoop.io.compress.BZip2Codec,?

com.hadoop.compression.lzo.LzoCodec,?

com.hadoop.compression.lzo.LzopCodec,?

org.apache.hadoop.io.compress.SnappyCodec</value>?

</property>?

<property>?

<name>io.compression.codec.lzo.class</name>?

<value>com.hadoop.compression.lzo.LzoCodec</value>?

</property>?

然后重新運(yùn)行hadoop,即安裝成功。

轉(zhuǎn)載于:https://blog.51cto.com/wzxwzx2011/1111526

總結(jié)

以上是生活随笔為你收集整理的hadoop上lzop的安装的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。