Nutch 2.x+Hadoop 2.5.2+Hbase0.94.26(续)

时间:2015-01-20 19:50:07   收藏:0   阅读:209

上周以为搞定了Nutch 2.x+Hadoop 2.5.2+Hbase0.94.26的整合,于是这周开始真正执行nutch抓取tieba的数据:

nutch inject /urls -crawlId tieba

谁知道报错:

java.lang.NoSuchMethodError: org.apache.hadoop.net.NetUtils.getInputStream(Ljava/net/Socket;)Ljava/io/InputStream;

at org.apache.hadoop.hbase.ipc.HBaseClient$Connection.setupIOstreams(HBaseClient.java:437)

折腾了一整天,才想清楚这个错误的意思是HBaseClient$Connection类的setupIOstreams方法中需要的是传入参数类型为java.net.Socket,返回类型为java.io.InputStream的getInputStream方法,但是Hadoop 2.5.2版本的NetUtils类的getInputStream方法返回类型为SocketInputWrapper,所以只需要修改一下HBase的源码,做一个强制类型转换即可,如下:

this.in = new DataInputStream(new BufferedInputStream

(new PingInputStream((java.io.InputStream)NetUtils.getInputStream(socket))));

原文:http://www.cnblogs.com/mactech/p/4236694.html

评论(0
© 2014 bubuko.com 版权所有 - 联系我们:wmxa8@hotmail.com
打开技术之扣,分享程序人生!