HADOOP 3.2.0 全分布式搭建

时间:2021-09-15 12:45:48   收藏:0   阅读:14

配置hosts文件

vi /etc/hosts
# 添加三台主机host与ip对应关系
192.168.147.102 bigdata01
192.168.147.103 bigdata02
192.168.147.104 bigdata03

安装JDK并配置环境变量

# 解压
tar -zxvf jdkxxx.tar.gz -C /usr/local
# 配置到环境变量
vi /etc/profile

export JAVA_HOME=/data/soft/jdk1.8
export PATH=.:$JAVA_HOME/bin:$PATH

# 环境变量生效
source /etc/profile

配置免密登录

以bigdata02机器为例,执行如下命令可生成密钥

ssh-keygen -t rsa

执行该命令一直回车即可, 生成成功界面如下

技术分享图片

然后把刘海国外两台机器也执行如下命令,这样三台机器即可成功生成密钥,如果使用root用户,密钥位置在~/.ssh/目录下,接下来需要把三台服务器生成的公钥都追加到各自服务器的~/.ssh/authorized_keys文件中,操作命令如下

# 在bigdata01、bigdata02、bigdata03中都执行这三条命令
ssh-copy-id -i bigdata01
ssh-copy-id -i bigdata02
ssh-copy-id -i bigdata03

关闭防火墙

# 查看防火墙状态
systemctl status firewalld
# 禁止防火墙
systemctl stop firewalld
# 禁止开机自启防火墙
systemctl disable firewalld

同步时间

# 安装ntpdate工具
yum -y install ntpdate
# 同步阿里时间
ntpdate ntp1.aliyun.com

解压Hadoop安装包

tar -zxvf hadoop-3.2.0.tar.gz -C /data/soft

修改Hadoop相关配置文件

启动集群

在主节点上执行启动所有进程

start-all.sh

技术分享图片

Web-UI验证

技术分享图片

执行MR测试任务

此处使用PI值实例

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar pi 10 10

其中:第一个10是运行10次map任务,第二个10是每次map任务投掷次数,所以总投掷次数为10*10=100次

技术分享图片

MR Web UI信息

技术分享图片

参考文献

  1. 使用Hadoop自带的例子pi计算圆周率

  2. hadoop3.2.1完全分布式集群安装

  3. 阿里云NTP服务器

原文:https://www.cnblogs.com/shine-rainbow/p/15265673.html

评论(0)
© 2014 bubuko.com 版权所有 - 联系我们:wmxa8@hotmail.com
打开技术之扣,分享程序人生!