大数据运行过程中常见的问题粗略总结

时间:2020-03-31 11:37:51   收藏:0   阅读:60

第一部分 完全分布式集群配置问题

一、解决多台虚拟机同时运行闪退问题:

(一)Windows系统下关闭winsock
(二)虚拟机关闭3D图形加速。

二、解决虚拟机静态Ip设置问题:
(一)主机网络适配器NAT模式IP地址与虚拟机静态IP地址处于同一网段
(二)虚拟机设置正确的网络连接配置方式

三、解决ssh安装时无法解析域名问题:
添加dns服务器 vi /etc/resolv.conf
nameserver 8.8.8.8
nameserver 127.0.0.1

三、(二)解决ssh密钥配置冲突问题:Host key verification failed.

 删除~/.ssh目录下所有文件,也就是清楚生成的有关密钥信息和认证用户信息。重新配置ssh免密登录

四、解决完全分布式集群配置无法正常启动的问题:
(一)查看配置文件core-site.xml多一个configuration标签
(二)权限有误,没有以管理员身份运行,因为Hadoop文件所属用户是root用户
(三)正常启动

五、Jps命令无法运行的情况:(root用户和hadoop101两个用户启动集群不统一)
(一)查看Java所属权限用户
(二)切换到所在用户
(三)正常运行

第二部分 HDFS问题
一、Windows10编译Hadoop原因:Hadoop有本地库。


第二部分 Zookeeper安装配置的问题:暂无。

第三部分 Hbase安装配置的问题:
时钟同步(重要)配置文件的变量设置。这个可以找其他人的博客,我就不在这篇里面说明了。


第四部分 其他问题
一、虚拟机启动时出现内部错误提示
windows打开服务--->启动VM有关服务

原文:https://www.cnblogs.com/cadenceye/p/12603118.html

评论(0
© 2014 bubuko.com 版权所有 - 联系我们:wmxa8@hotmail.com
打开技术之扣,分享程序人生!