注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

北漂的小羊

Java编程,开发者,程序员,软件开发,编程,代码。新浪微博号:IT国子监

 
 
 

日志

 
 
关于我

在这里是面向程序员的高品质IT技术学习社区,是程序员学习成长的地方。让我们更好地用技术改变世界。请关注新浪微博号: IT国子监(http://weibo.com/itguozijian)

网易考拉推荐

hadoop使用lzo压缩文件笔记  

2013-01-11 18:19:22|  分类: 自选项目资料 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

LZO性能

Compression File Size (GB) Compression Time (s) Decompression Time (s)
Nonesome_logs8.0--
Gzipsome_logs.gz1.324172
LZOsome_logs.lzo2.05535

 

编译LZO

下载:

 

http://www.oberhumer.com/opensource/lzo/download/

 

wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz

 

安装:

tar -zxf lzo-2.06.tar.gz

cd lzo-2.06

./configure --enable-shared 

make

make install

 

安装ant并配置环境变量,这里略过

vi /etc/profile  

PATH=/usr/local/ant/bin/:$PATH

source /etc/profile

 

编译hadoop lzo jar

下载源码

 

https://github.com/kevinweil/hadoop-lzo

 

解压缩、进入项目目录

略...

编译

# 32位OS

export JAVA_HOME=/path/to/32bit/jdk 
export CFLAGS=-m32 
export CXXFLAGS=-m32 
ant compile
-native tar

 

# 64位OS
export JAVA_HOME=/path/to/64bit/jdk 
export CFLAGS=-m64 
export CXXFLAGS=-m64 
ant compile
-native tar

 

成功编译后,打开build文件夹,hadoop-lzo*.jar就躺在里面。

 

编译LZOP

简介:这个东西是使用lzo库写的一个程序,用它可以压缩、解压缩文件。

 

下载

http://www.lzop.org/

http://www.lzop.org/download/lzop-1.03.tar.gz

 

解压缩、进入项目目录(略过)

编译

cp /usr/local/lib/*lzo* /usr/lib64/ 

./configure && make && make install

 

PS:我在64bit机器上编译发现找不到 lzo 的库,执行下面命令后再编译就OK了。

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib/

 

try lzop

# 压缩文件

lzop 20110915.log #生成lzop 20110915.log.lzo文件

# 解压,并输出文件内容

lzop -cd pv.txt.lzo |more

 

配置Hadoop

 

Xml代码 
  1. cp hadoop-lzo-0.4.13.jar $HADOOP_HOME/lib/  

 

 

 

Xml代码 
  1. sudo cp /usr/local/lib/*lzo* /usr/lib64/  

 

 

Xml代码 
  1. # 如果之前使用过google code的lzo包,要删除  
  2. rm -f hadoop-gpl-compression-0.1.0-dev.jar  

 

 

Xml代码 
  1. > core-site.xml  
  2.   
  3.   <property>  
  4.     <name>io.compression.codecs</name>  
  5.     <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCode  
  6. c</value>  
  7.   </property>  
  8.   
  9.   <property>  
  10.     <name>io.compression.codec.lzo.class</name>  
  11.     <value>com.hadoop.compression.lzo.LzoCodec</value>  
  12.   </property>  

 

设置JAVA_LIBRARY_PATH,这里配置非常容易重要,易出错

 

为了让JNI找到库文件需要配置JAVA_LIBRARY_PATH,我自己的方法是:

 

cp kevinweil-hadoop-lzo-3d19b14/build /opt/hadoop/
 

如果存在$HADOOP_HOME/build/native文件夹,hadoop命令会自动添加“${HADOOP_HOME}/build/native/${JAVA_PLATFORM}/lib” 到$JAVA_LIBRARY_PATH中,这样做非常省事。

 

 

#单机运行生成lzo index文件
hadoop jar /opt/hadoop/lib/hadoop-lzo-*.jar com.hadoop.compression.lzo.LzoIndexer /pub/cc/20110616/18.log.lzo

#Mapreduce生成lzo index文件
hadoop jar /opt/hadoop/lib/hadoop-lzo-*.jar com.hadoop.compression.lzo.DistributedLzoIndexer /pub/cc/20110616/18.log.lzo

 

 

Xml代码 
  1. // mapreduce job使用lzo文件作为输入文件  
  2. job.setInputFormatClass(LzoTextInputFormat.class);  

 

-- 配置结束 --

 

 

 

PS: 下面是网上的配置JAVA_LIBRARY_PATH的方法,是不是我的方法更简单?哈哈~

 

Xml代码 
  1. #copy native文件到hadoop目录  
  2. tar -cBf - -C ./build/native . | tar -xBvf - -C /opt/hadoop-0.20.2-cdh3u1/lib/native  

Xml代码 
  1. > vi mapred-site.xml   
  2.   
  3.   <property>  
  4.     <name>mapred.child.env</name>  
  5.     <value>JAVA_LIBRARY_PATH=/opt/hadoop/build/native/Linux-amd64-64</value>  
  6.   </property>  

   PS.  如果上述方式设置的JAVA_LIBRARY_PATH没有生效(通过“ps -ef | grep tasktracker”查看),可能需要通过bin/hadoop设置JAVA_LIBRARY_PATH。

 

 

 

Q & A:

Q:java.lang.RuntimeException: native-lzo library not available

A:原因一:sudo cp /usr/local/lib/*lzo* /usr/lib64/;

     原因二:%$HADOOP_HOME/lib下有hadoop-gpl-compression-0.1.0-dev.jar,删除它

     原因三:JAVA_LIBRARY_PATH配置错误。JNI通过这个环境变量查找库文件,通ps -ef | grep tasktracker,查看lzo的lib文件是否在这个环境变量中,要指向 native/Linux-amd64-64/lib文件,而不是 native/Linux-amd64-64文件夹。通过修改$HADOOP_HOME/bin/hadoop可以修改这个环境变量

 

Q:lzo文件是不是生成索引之后才支持自动分片?

A:是的,如果不生成index则lzo文件会被作为一个input split处理。

 

Q: 使用客户端提交job时,报如下错误:

 

java.io.IOException: Codec for file hdfs://BGP-BJ-2-5N1:9000/pub/tencent/20110616/18.log.lzo not found, cannot run

at com.hadoop.mapreduce.LzoLineRecordReader.initialize(LzoLineRecordReader.java:97)

at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.initialize(MapTask.java:451)

at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:646)

at org.apache.hadoop.mapred.MapTask.run(MapTask.java:323)

at org.apache.hadoop.mapred.Child$4.run(Child.java:270)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:396)

at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1127)

at org.apache.hadoop.mapred.Child.main(Child.java:264)

 

A:在代码中,或者配置文件中添加下面配置:

 

 

conf.set("io.compression.codecs", "org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,com.hadoop.compression.lzo.LzopCodec");
conf.set("io.compression.codec.lzo.class", "com.hadoop.compression.lzo.LzoCodec");

 

 

参考文章:

http://share.blog.51cto.com/278008/549393

http://www.tech126.com/hadoop-lzo/

http://www.cloudera.com/blog/2009/11/hadoop-at-twitter-part-1-splittable-lzo-compression/

 


附网络上一个比较详细的,大家可以借鉴:



确认安装成功 

Java代码 
  1. % ls -l /usr/lib*/liblzo2*  
  2. -rw-r--r--  1 root root 171056 Mar 20  2006 /usr/lib/liblzo2.a  
  3. lrwxrwxrwx  1 root root     16 Feb 17  2007 /usr/lib/liblzo2.so -> liblzo2.so.2.0.0*  
  4. lrwxrwxrwx  1 root root     16 Feb 17  2007 /usr/lib/liblzo2.so.2 -> liblzo2.so.2.0.0*  
  5. -rwxr-xr-x  1 root root 129067 Mar 20  2006 /usr/lib/liblzo2.so.2.0.0*  
  6. -rw-r--r--  1 root root 208494 Mar 20  2006 /usr/lib64/liblzo2.a  
  7. lrwxrwxrwx  1 root root     16 Feb 17  2007 /usr/lib64/liblzo2.so -> liblzo2.so.2.0.0*  
  8. lrwxrwxrwx  1 root root     16 Feb 17  2007 /usr/lib64/liblzo2.so.2 -> liblzo2.so.2.0.0*  
  9. -rwxr-xr-x  1 root root 126572 Mar 20  2006 /usr/lib64/liblzo2.so.2.0.0*  



2。下载hadoop-gpl-compression源码 
Java代码 
  1. http://code.google.com/a/apache-extras.org/p/hadoop-gpl-compression/downloads/list  


3.编译 
Java代码 
  1. export JAVA_HOME=/path/to/64bit/jdk  
  2. export CFLAGS=-m64  
  3. export CXXFLAGS=-m64  
  4. ant compile-native tar  


4.拷贝生成的jar到指定目录 
Java代码 
  1. cp build/hadoop-gpl-compression-0.1.0-dev/hadoop-gpl-compression-0.1.0-dev.jar /path/to/hadoop/dist/lib  


5.拷贝native library 
Java代码 
  1. tar -cBf - -C build/hadoop-gpl-compression-0.1.0-dev/lib/native . | tar -xBvf - -C /path/to/hadoop/dist/lib/native  


6.修改hadoop配置文件core-site.xml 
Xml代码 
  1. <property>  
  2.     <name>io.compression.codecs</name>  
  3.     <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,org.apache.hadoop.io.compress.BZip2Codec</value>  
  4.   </property>  
  5.   <property>  
  6.     <name>io.compression.codec.lzo.class</name>  
  7.     <value>com.hadoop.compression.lzo.LzoCodec</value>  
  8.   </property>  


7.修改hadoop配置文件mapred-site.xml 
Xml代码 
  1. <property>  
  2.     <name>mapred.compress.map.output</name>  
  3.     <value>true</value>  
  4.   </property>  
  5.   <property>  
  6.     <name>mapred.map.output.compression.codec</name>  
  7.     <value>com.hadoop.compression.lzo.LzoCodec</value>  
  8.   </property>  


8下载一个windows的lzop的客户端,生存一个test.lzo 

9.生存索引 
单机版 
Java代码 
  1. hadoop jar /path/to/your/hadoop-lzo.jar com.hadoop.compression.lzo.LzoIndexer big_file.lzo  

集群版 
Java代码 
  1. hadoop jar /path/to/your/hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer big_file.lzo  


10.执行一个mapred程序,如wordcount 
添加参数"-inputformat com.hadoop.mapred.DeprecatedLzoTextInputFormat" 

-- end --

  评论这张
 
阅读(1466)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2016