hdfs统计行数和统计文件大小

时间:2014-12-10 12:38:53   收藏:0   阅读:865

使用hdfs有时候需要统计文件行数和文件的大小

1.hdfs下载文件夹中多个文件

hadoop fs -get  /目录   目录


2.统计多个文件行数

hadoop fs -cat  /文件* | wc -l


3.统计文件大小

hadoop fs -count /文件*


统计单个文件  只需要精确到文件即可  

原文:http://blog.csdn.net/qingmu0803/article/details/41843369

评论(0
© 2014 bubuko.com 版权所有 - 联系我们:wmxa8@hotmail.com
打开技术之扣,分享程序人生!