hadoop包安装
时间:2017-11-21 00:48:22
收藏:0
阅读:363
Hadoop包安装
创建hadoop账户
-
创建hadoop账户
1 # useradd hadoop 2 # passwd hadoop
- 将本地目录下的hadoop-2.6.0-cdh5.5.0.tar.gz,上传到虚拟机的/usr/local目录下,并且更改名字。
1 tar -xzvf hadoop-2.6.0-cdh5.50 2 mv hadoop-2.6.0-cdh5.50 hadoop
- 配置hadoop的环境变量,并创建/usr/local/data
1 vim ~/.bashrc 2 export HADOOP_HOME=/usr/local/hadoop 3 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 4 source ~/.bashrc
-
进入/usr/local/hadoop/etc/hadoop修改配置文件
修改core-site.xml
修改hdfs-site.xml
修改mapred-site.xml
修改yarn-site.xml
修改hadoop-env.sh(默认情况下HADOOP_PID_DIR指定位置是/tmp目录,但是/tmp目录每次重启会做定时的更新,所以会不稳定,所以在完全分布式环境下需要进行修改)
1 export JAVA_HOME=/usr/local/default 2 export HADOOP_PID_DIR=/disk1/dfs/tmp
修改mapred-env.sh
1 export MAPRED_PID_DIR=/disk1/dfs/tmp
修改yarn-env.sh
1 export YARN_PID_DIR=/disk1/dfs/tmp
配置hadoop环境变量
- 格式化namenode
1 # su - hadoop 2 $ hadoop namenode -format
- 启动hdfs和yarn集群:
1 start-all.sh(包括start-dfs.sh和start-yarn.sh)
或者可以单独启动,集群规划参考之前的文档
hadoop-daemon.sh start namenode/secondarynamenode/datanode
yarn-daemon.sh start nodemanager/resourcemanager
mr-jobhistory-daemon.sh start historyserver启动之后可以通过jps查看当前开启的服务以及netstat -tnlp查询端口信息(或者可以在windows下通过登录xxx:50070和xxx:8088查看)
原文:http://www.cnblogs.com/Try-kevin/p/7868539.html
评论(0)