分布式 on 蛋蛋忧桑

MapReduce工作原理及基础编程

Sat, 07 Jun 2025 01:05:58 +0800

概念介绍

MapReduce 是一种用于处理和生成大规模数据集的编程模型。

它将整个计算过程分为两个核心阶段：Map（映射） 和 Reduce（归并）。在 Map 阶段，数据被分成小块并并行处理，提取出中间的键值对结果；在 Reduce 阶段，框架会将所有具有相同键的数据聚合起来，由用户定义的逻辑进行归并处理，最终输出结果。

MapReduce 的核心优势是：可扩展性强、适合大数据分布式处理、编程模型简单，框架自动负责数据的调度与容错。

通俗地说，它就像是一条流水线：先把原料（大数据）切碎并加工（Map），然后将相同类型的零件集中起来装配成品（Reduce）。

执行流程

实际上MapReduce有三个阶段：Map（映射）、Shuffle（派发）、Reduce（规约）。

在 Map 阶段，每条输入数据（通常是一行文本）被送入用户自定义的 Mapper 类中进行处理。开发者在这个阶段编写逻辑，将每条原始数据“映射”为一组中间键值对（key-value），例如统计词频时，把一句话拆分成每个词，并赋予每个词一个初始计数（如 key 为单词，value 为 1）。这些中间结果不会立即输出，而是会经过分区、排序和归组。

接下来是 Shuffle 阶段，这是 MapReduce 框架自动完成的核心过程。框架会将所有 Mapper 输出的 key 按照值进行聚合，也就是说，把所有具有相同 key 的记录集中在一起，并将它们分发给相应的 Reducer。这个阶段还涉及网络传输（跨节点数据移动）、排序（对 key 进行字典序排列）以及归组（将相同 key 的 value 组成集合），是整个 MapReduce 中性能和资源消耗最多的一部分。

最后是 Reduce 阶段，所有已经被聚合并排序好的数据会输入到开发者自定义的 Reducer 中。Reducer 接收的是某一个 key 以及与它相关联的所有 value 列表，开发者在这个阶段编写聚合逻辑，如累加、求平均、取最大值等。处理后的结果会以最终输出的形式写入 HDFS 或本地文件系统，形成最终的数据处理结果。

所以说，根据以上叙述我们可以得知：在实际的编程中，我们要做的就是编写Map和Reduce操作的代码。同时我们也可以理解到，Map的处理过程应当是(行号, 一行文本) → (key, value)；Reduce的处理过程应当是(key, values) → (key, value)。

编程思想

在编写相关Java代码时，我认为最重要的就是理清楚输入输出类型和输入到输出的处理过程，也即(行号, 一行文本) 是怎么变到 (key, value)的，(key, values) 又是怎么变到 (key, value)的。

标准Mapper类

import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;

public class MyMapper extends Mapper {

 private Text outKey = new Text();
 private IntWritable outValue = new IntWritable();

 @Override
 protected void map(LongWritable key, Text value, Context context)
 throws IOException, InterruptedException {

 // 1. 读取一行文本
 String line = value.toString();

 // 2. 分割字段（假设是以逗号分隔的 CSV）
 String[] fields = line.split(",");

 // 3. 做简单校验
 if (fields.length >= 2) {
 String someKey = fields[0]; // 例如：用户ID
 int someValue = Integer.parseInt(fields[1]); // 例如：交易金额

 // 4. 设置输出
 outKey.set(someKey);
 outValue.set(someValue);

 // 5. 输出 key-value 对
 context.write(outKey, outValue);
 }
 }
}

标准Reducer类

import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;

public class MyReducer extends Reducer {

 private IntWritable result = new IntWritable();

 @Override
 protected void reduce(Text key, Iterable values, Context context)
 throws IOException, InterruptedException {

 int sum = 0;
 for (IntWritable val : values) {
 sum += val.get(); // 累加所有值
 }

 result.set(sum);
 context.write(key, result); // 输出结果
 }
}

标准Driver类

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.*;
import org.apache.hadoop.mapreduce.lib.output.*;

public class MyDriver {

 public static void main(String[] args) throws Exception {
 if (args.length != 2) {
 System.err.println("Usage: MyDriver ");
 System.exit(-1);
 }

 Configuration conf = new Configuration();
 Job job = Job.getInstance(conf, "My MapReduce Job");

 job.setJarByClass(MyDriver.class);
 job.setMapperClass(MyMapper.class);
 job.setReducerClass(MyReducer.class);

 job.setMapOutputKeyClass(Text.class);
 job.setMapOutputValueClass(IntWritable.class);
 job.setOutputKeyClass(Text.class);
 job.setOutputValueClass(IntWritable.class);

 FileInputFormat.addInputPath(job, new Path(args[0]));
 FileOutputFormat.setOutputPath(job, new Path(args[1]));

 System.exit(job.waitForCompletion(true) ? 0 : 1);
 }
}

实际上，按照以上标准代码，我们需要做的就是修改输入输出的Key/Value类型和数据处理逻辑。

常见的输入和输出 Key/Value 类型

类型	说明	用途示例
LongWritable	长整型（64位）	输入 key，通常表示文本行的字节偏移量（offset）
IntWritable	整型（32位）	常用于输出 value，如计数、数值统计
Text	字符串类型，Hadoop自带字符串类型	输入或输出的 key/value，多用于字符串数据
DoubleWritable	双精度浮点型	处理小数值，如评分、权重等
FloatWritable	单精度浮点型	同上，较少用
BooleanWritable	布尔型	标记型字段
NullWritable	空值类型	不输出 key 或 value 时用，比如只输出 key

Hadoop配置——两个节点（master和slave1）

Thu, 29 May 2025 14:42:14 +0800

配置要求

目标是配置一个基本的 Hadoop 分布式集群：

一台主节点：master
一台从节点：slave1
支持：HDFS + YARN
Java 已配置
Hadoop 已安装成功，路径在 /opt/hadoop（你可替换为实际路径）

使用 hadoop version 命令测试

注：前置参考资料在文末，建议先按照前置参考资料进行安装配置到 hadoop version 命令成功执行步骤，再继续参照本文章。

修改hosts、hostname

hosts: /etc/hosts 集群所有主机IP地址与对应主机名格式：IP（空）主机名

hostname: /etc/hostname 主节点命名为master，子节点命名为slave1 把主机名直接写入此文件（只能保留一个名字），定义本机的主机名（可能需要重启生效）使用 sudo hostnamectl set-hostname 新主机名 设置（即时生效）使用 hostname 命令查看当前主机名

SSH 配置免密

1. 生成 SSH 密钥对（如果尚未生成）

在每台机器上执行：ssh-keygen -t rsa

一路回车即可（不要设置密码短语）。

2. 将自己的公钥添加到目标机器的 authorized_keys 中

在 master 上执行以下命令，把自己的公钥发给 slave1 ：

ssh-copy-id root@localhost
ssh-copy-id root@slave1

同理，在 slave1 上执行：

ssh-copy-id root@localhost
ssh-copy-id root@master

从每台机器尝试 ssh 到其他机器（包括自己）进行验证：

ssh root@localhost
ssh root@master
ssh root@slave1

配置Hadoop的配置文件

1. core-site.xml


 hadoop.tmp.dir
 file:/opt/hadoop/tmp
 location to store temporary files

 fs.defaultFS
 hdfs://master:9000

2. hdfs-site.xml


 dfs.replication
 1

 dfs.namenode.name.dir
 file:/opt/hadoop/tmp/dfs/name

 dfs.datanode.data.dir
 file:/opt/hadoop/tmp/dfs/data

3. mapred-site.xml


 
 mapreduce.framework.name
 yarn
 

 
 yarn.app.mapreduce.am.env
 HADOOP_MAPRED_HOME=/opt/hadoop
 

 
 mapreduce.map.env
 HADOOP_MAPRED_HOME=/opt/hadoop
 

 
 mapreduce.reduce.env
 HADOOP_MAPRED_HOME=/opt/hadoop

4. yarn-site.xml


 yarn.resourcemanager.hostname
 master

 yarn.nodemanager.aux-services
 mapreduce_shuffle

5. workers（以前叫 slaves）

列出所有的从节点（一个 hostname 一行）。

slave1

复制配置文件

scp -r /opt/hadoop/etc/hadoop/ root@slave1:/opt/hadoop/etc/

启动 Hadoop

hdfs namenode -format
start-dfs.sh
start-yarn.sh

验证是否成功

在 master 和 slave1 分别运行：jps你应该看到：

master 节点有：

NameNode

SecondaryNameNode
ResourceManager
slave1 节点有：

DataNode

NodeManager

然后运行以下命令进行测试，检查是否有问题：

hdfs dfs -ls /
hdfs dfs -mkdir /testdir
hdfs dfs -ls /
echo "Hello Hadoop" > hello.txt
hdfs dfs -put hello.txt /testdir/
hdfs dfs -ls /testdir/
hdfs dfs -cat /testdir/hello.txt
hdfs dfs -get /testdir/hello.txt ./hello_from_hdfs.txt
hdfs dfs -rm /testdir/hello.txt
hdfs dfs -rmdir /testdir
hdfs dfsadmin -report

如果出现问题请先检查防火墙是否开放相应端口。

# 开放端口
for p in 9000 9870 {50010..50020} 50075 8088 8042 9864 9866 9867; do firewall-cmd --permanent --add-port=${p}/tcp; done && firewall-cmd --reload

# 关闭端口
for p in 9000 9870 {50010..50020} 50075 8088 8042 9864 9866 9867; do firewall-cmd --permanent --remove-port=${p}/tcp; done && firewall-cmd --reload

注意：经过后期实践，发现以上端口没有涵盖Hadoop的所有所需开放端口，最方便的解决方法是暂时关闭防火墙。

前置参考资料

https://dandansad.com/2025/05/22/%e5%ae%89%e8%a3%85hadoop/

安装Hadoop

Thu, 22 May 2025 14:40:19 +0800

注意：Hadoop（尤其是 3.x 及以下版本）不兼容 Java 9+ 的模块系统，如果之前安装了 Java 的更高版本，则需要重新安装更低版本进行配置。

安装JDK

1.下载JDK1.8安装包

wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz

2.解压下载的JDK1.8安装包

tar -zxvf jdk-8u151-linux-x64.tar.gz

3.移动并重命名JDK包

mv jdk1.8.0_151/ /usr/java8

4.配置Java环境变量（如果说不想修改原有使用的Java版本，可以跳过）

echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

5.查看Java是否成功安装

java -version

安装Hadoop

1.下载Hadoop安装包

wget --no-check-certificate https://repo.huaweicloud.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

2.解压Hadoop安装包至/opt/hadoop

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/
mv /opt/hadoop-3.1.3 /opt/hadoop

3.配置Hadoop环境变量

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile

4.修改配置文件yarn-env.sh和hadoop-env.sh

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

5.测试Hadoop是否安装成功

hadoop version

配置Hadoop

1.修改Hadoop配置文件 core-site.xml

a. 执行以下命令开始进入编辑页面。

vi /opt/hadoop/etc/hadoop/core-site.xml

b. 输入i进入编辑模式。

c. 在节点内插入如下内容。

 hadoop.tmp.dir
 file:/opt/hadoop/tmp
 location to store temporary files

 fs.defaultFS
 hdfs://localhost:9000

d. 按Esc键退出编辑模式，输入:wq保存退出。

2.修改Hadoop配置文件 hdfs-site.xml

a. 执行以下命令开始进入编辑页面。

vi /opt/hadoop/etc/hadoop/hdfs-site.xml

b. 输入i进入编辑模式。

c. 在节点内插入如下内容。

 dfs.replication
 1

 dfs.namenode.name.dir
 file:/opt/hadoop/tmp/dfs/name

 dfs.datanode.data.dir
 file:/opt/hadoop/tmp/dfs/data

d. 按Esc键退出编辑模式，输入:wq保存退出。

配置SSH免密登录

1.执行以下命令，创建公钥和私钥

ssh-keygen -t rsa

2.执行以下命令，将公钥添加到authorized_keys文件中

cd ~
cd .ssh
cat id_rsa.pub >> authorized_keys

输入如下命令，在环境变量中添加下面的配置

vi /etc/profile

然后向里面加入如下的内容

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

输入如下命令使改动生效

source /etc/profile

启动Hadoop

1.执行以下命令，初始化namenode

hadoop namenode -format

2.依次执行以下命令，启动Hadoop

start-dfs.sh
start-yarn.sh

3.启动成功后，执行以下命令，查看已成功启动的进程

jps

4.打开浏览器访问如下地址，显示如下界面则表示Hadoop伪分布式环境搭建完成

Hadoop 版本	NameNode Web UI 默认端口	ResourceManager Web UI 默认端口
Hadoop 2.x	50070	8088
Hadoop 3.x 及以上	9870	8088

参考资料

Linux（阿里云）安装Hadoop(详细教程+避坑)-阿里云开发者社区