概念介绍 MapReduce 是一种用于处理和生成大规模数据集的编程模型。 它将整个计算过程分为两个核心阶段：Map（映射） 和 Reduce（归并）。在 Map 阶段，数据被分成小块并并行处理，提取出中间的键值对结果；在 Reduce 阶段，框架会将所有具有相同键的数据聚合起来，由用户定义的逻辑进行归并处理，最终输出结果。 MapReduce 的…

配置要求 目标是配置一个基本的 Hadoop 分布式集群： 一台主节点：master 一台从节点：slave1 支持：HDFS + YARN Java 已配置 Hadoop 已安装成功，路径在 /opt/hadoop（你可替换为实际路径） 使用 hadoop version 命令测试 注：前置参考资料在文末，建议先按照前置参考资料进行安装配置到 h…

注意：Hadoop（尤其是 3.x 及以下版本）不兼容 Java 9+ 的模块系统，如果之前安装了 Java 的更高版本，则需要重新安装更低版本进行配置。 安装JDK 1.下载JDK1.8安装包 wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/j…