Hadoop on 蛋蛋忧桑

Hadoop配置——两个节点（master和slave1）

Thu, 29 May 2025 14:42:14 +0800

配置要求

目标是配置一个基本的 Hadoop 分布式集群：

一台主节点：master
一台从节点：slave1
支持：HDFS + YARN
Java 已配置
Hadoop 已安装成功，路径在 /opt/hadoop（你可替换为实际路径）

使用 hadoop version 命令测试

注：前置参考资料在文末，建议先按照前置参考资料进行安装配置到 hadoop version 命令成功执行步骤，再继续参照本文章。

修改hosts、hostname

hosts: /etc/hosts 集群所有主机IP地址与对应主机名格式：IP（空）主机名

hostname: /etc/hostname 主节点命名为master，子节点命名为slave1 把主机名直接写入此文件（只能保留一个名字），定义本机的主机名（可能需要重启生效）使用 sudo hostnamectl set-hostname 新主机名 设置（即时生效）使用 hostname 命令查看当前主机名

SSH 配置免密

1. 生成 SSH 密钥对（如果尚未生成）

在每台机器上执行：ssh-keygen -t rsa

一路回车即可（不要设置密码短语）。

2. 将自己的公钥添加到目标机器的 authorized_keys 中

在 master 上执行以下命令，把自己的公钥发给 slave1 ：

ssh-copy-id root@localhost
ssh-copy-id root@slave1

同理，在 slave1 上执行：

ssh-copy-id root@localhost
ssh-copy-id root@master

从每台机器尝试 ssh 到其他机器（包括自己）进行验证：

ssh root@localhost
ssh root@master
ssh root@slave1

配置Hadoop的配置文件

1. core-site.xml


 hadoop.tmp.dir
 file:/opt/hadoop/tmp
 location to store temporary files

 fs.defaultFS
 hdfs://master:9000

2. hdfs-site.xml


 dfs.replication
 1

 dfs.namenode.name.dir
 file:/opt/hadoop/tmp/dfs/name

 dfs.datanode.data.dir
 file:/opt/hadoop/tmp/dfs/data

3. mapred-site.xml


 
 mapreduce.framework.name
 yarn
 

 
 yarn.app.mapreduce.am.env
 HADOOP_MAPRED_HOME=/opt/hadoop
 

 
 mapreduce.map.env
 HADOOP_MAPRED_HOME=/opt/hadoop
 

 
 mapreduce.reduce.env
 HADOOP_MAPRED_HOME=/opt/hadoop

4. yarn-site.xml


 yarn.resourcemanager.hostname
 master

 yarn.nodemanager.aux-services
 mapreduce_shuffle

5. workers（以前叫 slaves）

列出所有的从节点（一个 hostname 一行）。

slave1

复制配置文件

scp -r /opt/hadoop/etc/hadoop/ root@slave1:/opt/hadoop/etc/

启动 Hadoop

hdfs namenode -format
start-dfs.sh
start-yarn.sh

验证是否成功

在 master 和 slave1 分别运行：jps你应该看到：

master 节点有：

NameNode

SecondaryNameNode
ResourceManager
slave1 节点有：

DataNode

NodeManager

然后运行以下命令进行测试，检查是否有问题：

hdfs dfs -ls /
hdfs dfs -mkdir /testdir
hdfs dfs -ls /
echo "Hello Hadoop" > hello.txt
hdfs dfs -put hello.txt /testdir/
hdfs dfs -ls /testdir/
hdfs dfs -cat /testdir/hello.txt
hdfs dfs -get /testdir/hello.txt ./hello_from_hdfs.txt
hdfs dfs -rm /testdir/hello.txt
hdfs dfs -rmdir /testdir
hdfs dfsadmin -report

如果出现问题请先检查防火墙是否开放相应端口。

# 开放端口
for p in 9000 9870 {50010..50020} 50075 8088 8042 9864 9866 9867; do firewall-cmd --permanent --add-port=${p}/tcp; done && firewall-cmd --reload

# 关闭端口
for p in 9000 9870 {50010..50020} 50075 8088 8042 9864 9866 9867; do firewall-cmd --permanent --remove-port=${p}/tcp; done && firewall-cmd --reload

注意：经过后期实践，发现以上端口没有涵盖Hadoop的所有所需开放端口，最方便的解决方法是暂时关闭防火墙。

前置参考资料

https://dandansad.com/2025/05/22/%e5%ae%89%e8%a3%85hadoop/

安装Hadoop

Thu, 22 May 2025 14:40:19 +0800

注意：Hadoop（尤其是 3.x 及以下版本）不兼容 Java 9+ 的模块系统，如果之前安装了 Java 的更高版本，则需要重新安装更低版本进行配置。

安装JDK

1.下载JDK1.8安装包

wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz

2.解压下载的JDK1.8安装包

tar -zxvf jdk-8u151-linux-x64.tar.gz

3.移动并重命名JDK包

mv jdk1.8.0_151/ /usr/java8

4.配置Java环境变量（如果说不想修改原有使用的Java版本，可以跳过）

echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

5.查看Java是否成功安装

java -version

安装Hadoop

1.下载Hadoop安装包

wget --no-check-certificate https://repo.huaweicloud.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

2.解压Hadoop安装包至/opt/hadoop

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/
mv /opt/hadoop-3.1.3 /opt/hadoop

3.配置Hadoop环境变量

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile

4.修改配置文件yarn-env.sh和hadoop-env.sh

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

5.测试Hadoop是否安装成功

hadoop version

配置Hadoop

1.修改Hadoop配置文件 core-site.xml

a. 执行以下命令开始进入编辑页面。

vi /opt/hadoop/etc/hadoop/core-site.xml

b. 输入i进入编辑模式。

c. 在节点内插入如下内容。

 hadoop.tmp.dir
 file:/opt/hadoop/tmp
 location to store temporary files

 fs.defaultFS
 hdfs://localhost:9000

d. 按Esc键退出编辑模式，输入:wq保存退出。

2.修改Hadoop配置文件 hdfs-site.xml

a. 执行以下命令开始进入编辑页面。

vi /opt/hadoop/etc/hadoop/hdfs-site.xml

b. 输入i进入编辑模式。

c. 在节点内插入如下内容。

 dfs.replication
 1

 dfs.namenode.name.dir
 file:/opt/hadoop/tmp/dfs/name

 dfs.datanode.data.dir
 file:/opt/hadoop/tmp/dfs/data

d. 按Esc键退出编辑模式，输入:wq保存退出。

配置SSH免密登录

1.执行以下命令，创建公钥和私钥

ssh-keygen -t rsa

2.执行以下命令，将公钥添加到authorized_keys文件中

cd ~
cd .ssh
cat id_rsa.pub >> authorized_keys

输入如下命令，在环境变量中添加下面的配置

vi /etc/profile

然后向里面加入如下的内容

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

输入如下命令使改动生效

source /etc/profile

启动Hadoop

1.执行以下命令，初始化namenode

hadoop namenode -format

2.依次执行以下命令，启动Hadoop

start-dfs.sh
start-yarn.sh

3.启动成功后，执行以下命令，查看已成功启动的进程

jps

4.打开浏览器访问如下地址，显示如下界面则表示Hadoop伪分布式环境搭建完成

Hadoop 版本	NameNode Web UI 默认端口	ResourceManager Web UI 默认端口
Hadoop 2.x	50070	8088
Hadoop 3.x 及以上	9870	8088

参考资料

Linux（阿里云）安装Hadoop(详细教程+避坑)-阿里云开发者社区