一、集群部署规划

	s201	s201	s201
HDFS	DataNode NameNode	DataNode	DataNode SecondaryNameNode
YARN	ResourceManger NodeManger	NodeManger	NodeManger

二、配置IP映射

1.配置IP映射

vim /etc/hostname 修改主机名 vim /etc/hosts 修改映射文件

192.168.5.130 s201 192.168.5.131 s202 192.168.5.132 s203

2.修改静态IP

cd /etc/sysconfig/network-scripts/

BOOTPROTO="static" IPADDR="192.168.5.201" GATEWAY="255.255.255.0" DNS1="192.168.5.2"

三、配置免密登录

运行 ssh-keygen

ssh-copy-id s201 ssh-copy-id s202 ssh-copy-id s203

ssh s202 测试下

四、关闭防火墙

systemctl stop firewalld systemctl status firewalld systemctl disable firewalld

五、安装JDK

略

六、安装hadoop

1.解压

tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/

2.配置环境变量

vim /etc/profile 添加以下内容

export HADOOP_HOME=/usr/local/hadoop-2.7.7/ export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

3.修改配置文件(重点)

(1)核心配置文件 core-site.xml 配置namenade

<property>     <name>fs.defaultFS</name>     <value>hdfs://s201:9000</value> </property> <property>     <name>hadoop.tmp.dir</name>     <value>/usr/local/hadoop-2.7.7/data/tmp</value>
</property>

（2）配置HDFS hadoop-env.sh 运行环境

export JAVA_HOME=/usr/local/jdk1.8.0_291

hdfs-site.xml 配置secondarynamenode

<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>s203:50090</value>
</property>

（3）配置YARN yarn-env.sh 运行环境

export JAVA_HOME=/usr/local/jdk1.8.0_291

yarn-site.xml 混洗方式和配置resourcemanager

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>s201</value>
</property>

（4）配置MR mapred-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_291

cp mapred-site.xml.template mapred-site.xml 配置MR运行模式为yarn模式（还有本地模式local）

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

<!-- 历史服务器 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>s201:10020</value>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>s201:19888</value>
</property>

（5）配置从节点 vim slaves

s201
s202
s203

4.格式化并启动

格式化

hdfs namenode -format

启动集群

start-dfs.sh
start-yarn.sh
#启动历史服务器
mr-jobhistory-daemon.sh start historyserver

停止集群

stop-dfs.sh
stop-yarn.sh

5.集群测试

192.168.5.130:5007 集群访问地址

新建文件夹

hdfs dfs -mkdir -p /user/input

上传文件

hdfs dfs -put /root/a.txt /user/input

删除

hdfs dfs -rmr /user/imput

资讯详情

hadoop集群部署