Hadoop完全分布式集群搭建与高可用整合实践指南

刚开始接触大数据的时候听到“搭建Hadoop集群”这几个字总觉得是个特别庞大、特别高级的工程好像需要一整支运维团队才能搞定。后来真正动手做了两三次从踩坑到梳理明白才发现这事的关键不在于“命令敲得有多快”而在于你愿不愿意在动手前把规划想清楚、把每一步的原理搞清楚。这篇博客就基于我自己搭完 Hadoop 完全分布式集群、以及后续整合 Zookeeper 做高可用的一些真实经历把整个过程掰开揉碎讲给你听。这套内容不是简单贴一遍 XML 配置就完事而是会告诉你为什么这么配、哪一步容易翻车、报错了怎么排查。如果你是准备做课程设计、毕业设计或者公司里要从零搭一套离线数仓的实验环境这篇文章基本能当一份“操作手册”来用。看完之后你至少能独立完成一个三节点甚至更多节点的 Hadoop 集群部署并且知道怎么往上面接 Zookeeper、Hive 或者 Spark 这些常用组件。1. 动手前先想清楚集群规模与版本选型很多新手一上来就找安装包、敲命令结果装到一半发现版本不兼容、内存不够、JDK 版本对不上又得从头再来。我个人觉得搭集群这件事最花时间的往往不是配置本身而是反复返工。所以把前期的规划工作做好等于成功了一半。1.1 硬件与进程分布科学规划节点角色Hadoop 实际包含 HDFS 分布式文件系统、YARN 资源调度、MapReduce 计算框架这几个核心模块。在一个完全分布式模式下一个最小可用的集群至少需要三个节点分别承担不同的角色。以我常用的三节点方案为例节点角色分配大致这样节点1masterNameNode、ResourceManager、SecondaryNameNode或 HA 下的备用 NameNode。节点2node1DataNode、NodeManager。节点3node2DataNode、NodeManager。这样分配的好处是 NameNode 和 ResourceManager 都放在同一台机器上方便管理而且数据节点统一负责存储和计算任务。如果机器性能比较充裕也可以把 SecondaryNameNode 单独拆到另一台机器上减轻主节点压力。有些教程喜欢把 SecondaryNameNode 放在节点2甚至完全独立的节点上这也是对的但代价就是你需要更多的服务器资源。内存规划是我反复强调的一件事。NameNode 是集群的“大脑”元数据全在它身上默认给它 2GB 以上堆内存比较稳妥。ResourceManager 负责调度所有任务也要给足内存。DataNode 和 NodeManager 相对轻一些但机器总内存建议不低于 8GB。用虚拟机练习的朋友特别要注意如果电脑只有 16GB 内存强行开三个 4GB 的虚拟机很容易卡死可以适当把节点内存降到 2GB数据量小其实也够用。1.2 版本选择Apache 还是 CDHHadoop 3 与 JDK 的对应关系版本选择这块很多初学者会纠结。我自己的建议是学习阶段直接选 Apache 社区版最新稳定版比如 Hadoop 3.3.x。虽然企业里很多还在用 CDH 或者 HDP 这样的商业发行版但对于练习和学习来说Apache 版最干净没有那么多封装概念出了问题搜社区资料也最容易对症下药。选完 Hadoop 版本后第一件事就是确认它要求的 JDK 版本。Hadoop 3.3.x 一般支持 JDK 8 和 JDK 11但绝大多数生产环境的配置还是以 JDK 8 为主。我自己用的是 JDK 1.8兼容性最好配套工具也多。这里要特别提醒一个坑不要装最新版的 JDK 21 之类的版本很多 Hadoop 生态组件压根没适配你会在莫名其妙的地方报错。如果不确定自己下载的 Hadoop 包是否完整建议先在本地执行tar -zxvf hadoop-3.3.6.tar.gz解压后再到解压出的目录里运行bin/hadoop version能正常输出版本号再往服务器上传省去传了一半才发现包损坏的尴尬。2. 基础环境准备别让小事卡住半天不少集群搭建教程会直接从解压 Hadoop 包开始讲但我建议你把基础环境当作独立的一步来做。因为这一步出问题后面的报错信息往往非常抽象排查起来很费劲。2.1 主机名、hosts 映射、防火墙与时区同步服务器装好系统后第一件事是给每台机器设置主机名。我用的是 CentOS 7.9 或 Rocky Linux 9 这类系统设置主机名很简单hostnamectl set-hostname hadoop-master另外两台同样操作为 node1、node2。接下来修改每台机器的/etc/hosts文件把三台机器的 IP 和主机名对应关系写进去。这一步很重要Hadoop 内部节点通信靠的是主机名而不是 IP如果你不配置 hosts启动之后节点之间互相找不到会出现各种连接超时的错误。192.168.1.101 hadoop-master 192.168.1.102 hadoop-node1 192.168.1.103 hadoop-node2然后顺手把防火墙关掉或者至少放行 Hadoop 相关端口。学习环境我建议直接关闭防火墙免得排查网络问题时多一个干扰项systemctl stop firewalld systemctl disable firewalld时区同步这个细节很多人会忽略。NameNode 和 DataNode 之间对时间漂移比较敏感时钟不同步的话之后的 HBase 或者 Hive 会时不时冒出奇怪的认证错误。可以统一用 chrony 或者 ntpdate 对准时间最简单的方式是装个 ntpdate 然后执行ntpdate -u ntp.aliyun.com把这一步写进计划任务里每天校准一次学习环境完全够用。2.2 JDK 安装与 SSH 免密登录排掉隐藏的雷JDK 安装虽然简单但有个地方要注意Hadoop 启动脚本会从JAVA_HOME环境变量去定位 Java你最好把 JAVA_HOME 写进每台机器的/etc/profile这样所有用户都能读到。配置内容大概是这样的export JAVA_HOME/usr/local/jdk1.8.0_202 export PATH$PATH:$JAVA_HOME/bin配完之后执行source /etc/profile再用java -version验证一下。如果只配在当前用户的.bashrc里后面用start-dfs.sh启动时脚本是在当前用户环境执行一般没问题但万一你用别的用户执行命令就会提示找不到 Java 环境变量非常坑。SSH 免密是整个集群搭建里非常基础但又非常关键的一步。Hadoop 的守护进程启动、节点间通信都依赖 SSH 无密码登录。具体操作是在主节点上生成密钥对然后把公钥分发到所有节点的 authorized_keys 文件里ssh-keygen -t rsa -P -f ~/.ssh/id_rsa ssh-copy-id hadoop-master ssh-copy-id hadoop-node1 ssh-copy-id hadoop-node2执行完之后一定要逐一测试ssh hadoop-node1、ssh hadoop-node2确认不需要输入密码能直接登进去。还要注意每台机器上用户目录、.ssh 目录的权限权限太宽松的话 SSH 会拒绝使用公钥登录。正常应该是 700 给 .ssh 目录、600 给 authorized_keys 文件。很多人在这一步卡很久就是因为从 Windows 拷贝文件过去权限全乱了。3. 核心配置文件与分布式部署实战基础环境准备好之后就进入最核心的部分。Hadoop 3 相比 Hadoop 2 在配置上简化了一些但核心思路没变通过一组 XML 文件把集群的角色、端口、存储路径全部定义清楚然后统一分发到所有节点。3.1 上传软件包、统一目录与环境变量我会把所有大数据组件统一放在/opt/bigdata目录下这样找起来方便。解压 Hadoop 包之后顺手建一个软链接指向具体版本号比如mkdir -p /opt/bigdata tar -zxvf hadoop-3.3.6.tar.gz -C /opt/bigdata cd /opt/bigdata ln -s hadoop-3.3.6 hadoop使用软链接的好处是以后升级版本只需要改链接指向不用改一堆配置文件里的绝对路径。这个习惯我也是踩了几次坑之后才养成的。接下来配置 HADOOP_HOME 环境变量方法和 JAVA_HOME 一样写进/etc/profileexport HADOOP_HOME/opt/bigdata/hadoop export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HDFS_NAMENODE_USERroot export HDFS_DATANODE_USERroot export HDFS_SECONDARYNAMENODE_USERroot export YARN_RESOURCEMANAGER_USERroot export YARN_NODEMANAGER_USERroot如果你直接用 root 用户启动 Hadoop建议把后面这几个 HDFS 和 YARN 的用户环境变量都配上不然启动脚本会提示Permission denied之类的问题。实际上生产环境不会用 root 跑会单建一个 hadoop 用户但学习环境用 root 省事只要注意别有安全暴露就行。3.2 核心 XML 配置每一个参数都值得看懂Hadoop 的核心配置主要分布在$HADOOP_HOME/etc/hadoop/目录下最常用的是四个 XML 文件和一台属性文件。如果你用的是完全分布式模式必须改这几个地方一个都不能少。第一个是hadoop-env.sh里面要显式指定 JAVA_HOME虽然环境变量里有了但 Hadoop 自己的脚本有时读不到直接在这里写死最稳export JAVA_HOME/usr/local/jdk1.8.0_202第二个是core-site.xml。核心是配置 HDFS 的访问地址和临时文件目录。我用的是 ha 模式下的命名服务所以这里直接写成逻辑名称configuration property namefs.defaultFS/name valuehdfs://bigdata/value /property property namehadoop.tmp.dir/name value/opt/bigdata/hadoop/tmp/value /property property nameha.zookeeper.quorum/name valuehadoop-master:2181,hadoop-node1:2181,hadoop-node2:2181/value /property /configuration第三个是hdfs-site.xml。这里配置的是 NameNode 和 DataNode 的数据存储目录以及副本数。默认副本是 3三节点集群可以保持 3 副本如果节点不够或者想省磁盘可以改成 2。另外还要配置 Secondary NameNode 的 HTTP 端口。如果在 HA 模式下面还要配置 nameservices、NameNode ID、JournalNode 等一堆参数这个我们放到下一节单独讲。第四个是yarn-site.xml。YARN 是资源调度层需要配置 ResourceManager 的地址还有启用的调度器类型。默认的容量调度器就够了生产环境一般也是用它。关键是yarn.nodemanager.aux-services要配成mapreduce_shuffle不然 MapReduce 任务跑不起来。第五个是mapred-site.xml。这个文件在 Hadoop 3 里依然存在主要配置 MapReduce 的运行框架是 YARNconfiguration property namemapreduce.framework.name/name valueyarn/value /property /configuration最后还有个workers文件注意在 Hadoop 3 里它以前叫slaves这算是一个经典变化。把所有数据节点的主机名写进去一行一个。DataNode 和 NodeManager 会依此在集群启动时被拉起。3.3 同步配置、格式化 NameNode 与启动集群在主节点上改完所有配置后需要把整个 hadoop 安装目录同步到所有节点最简单的办法就是 scpscp -r /opt/bigdata/hadoop hadoop-node1:/opt/bigdata/ scp -r /opt/bigdata/hadoop hadoop-node2:/opt/bigdata/然后再把/etc/profile也在各节点执行一遍 source确保环境变量生效。到这里所有配置工作就算完成了接下来是启动。启动之前有一件绝对不能忘的事情格式化 NameNode。这个操作相当于给 HDFS 文件系统打上初始化标记。命令是hdfs namenode -format出现successfully formatted字样就代表格式化成功。注意格式化只能执行一次如果之后你改了 core-site.xml 里的hadoop.tmp.dir路径、或者手动删除了 namenode 目录那就需要重新格式化但重复格式化会清空原有元数据生产环境千万不要随意执行。学习环境如果只是想从头来可以接受但务必确定没有重要数据。首次启动建议分步执行不要直接start-all.sh这样可以更清楚每个组件是否正常。先启动 HDFSstart-dfs.sh再启动 YARNstart-yarn.sh执行后分别用jps命令查看各节点的 Java 进程。在主节点应该看到 NameNode、SecondaryNameNode、ResourceManager在数据节点应该看到 DataNode、NodeManager。如果角色没问题再用浏览器访问http://hadoop-master:9870能看到 HDFS 的 Web 界面访问http://hadoop-master:8088能看到 YARN 的资源管理界面就说明集群基本起来了。4. 高可用升级与 ZooKeeper 整合告别单点故障刚搭起来的集群已经能跑 MapReduce 任务了但离真正可用的生产环境还差一步——NameNode 单点故障。一旦 namenode 所在的机器挂了整个 HDFS 就完全不可用。学习阶段可以不管但面试和实际项目里一定会问你高可用方案。目前主流的方案就是引入 Zookeeper用两个 NameNode 做 Active/Standby 热备再配合 JournalNode 共享编辑日志。4.1 为什么高可用一定要用 ZooKeeperZooKeeper 在这里扮演的角色简单说就是一个分布式协调中心。自动故障转移时Active NameNode 和 Standby NameNode 会通过 ZooKeeper 来选举谁是 Active。当 Active 节点出现故障Standby 节点通过 ZooKeeper 的临时节点感知到状态变化快速接管服务整个过程对客户端基本无感知。很多课程设计或者练习里会问ZooKeeper 必须要单独搭吗答案是如果你做高可用就需要一套独立的 ZooKeeper 集群。ZooKeeper 本身的角色也分 Leader 和 Follower最少三节点才能组成一个能正常工作的 quorum。当然如果你只是学习 HDFS不想上 HA那可以完全不碰 ZooKeeper集群照样能跑只是没有自动故障转移能力。4.2 外置 ZooKeeper 集群搭建要点下载 ZooKeeper 版本时建议跟 Hadoop 版本匹配一般选 3.6.x 或 3.7.x 稳定版。三台机器都解压好之后进入conf目录把zoo_sample.cfg复制成zoo.cfg重点配置这几项tickTime2000 initLimit10 syncLimit5 dataDir/opt/bigdata/zookeeper/data clientPort2181 server.1hadoop-master:2888:3888 server.2hadoop-node1:2888:3888 server.3hadoop-node2:2888:3888每个节点的 dataDir 里都要创建一个myid文件内容就是对应的序号比如主节点的 myid 写 1node1 写 2node2 写 3。这个文件 ZooKeeper 启动时会去读用来区分自己在集群中的身份。配置完成后分别启动三台机器的 ZooKeeperzkServer.sh start用zkServer.sh status查看状态正常情况下会有一个 leader 和两个 follower。如果全是 standalone 或者有节点连不上多半是防火墙没关或 myid 写错了。4.3 配置 HDFS 自动故障转移有了 ZooKeeper 之后回到hdfs-site.xml增加 HA 相关配置。主要用到的参数包括dfs.nameservices给整个 HDFS 服务起个逻辑名我起的是 bigdata。dfs.ha.namenodes.bigdata在这个服务下定义两个 NameNode 的 ID例如 nn1、nn2。dfs.namenode.rpc-address.bigdata.nn1和dfs.namenode.rpc-address.bigdata.nn2分别指向主节点和备用节点的 RPC 地址。dfs.namenode.http-address.bigdata.nn1和 nn2配置 web 访问地址。dfs.namenode.shared.edits.dir使用qjournal://节点1:8485;节点2:8485;节点3:8485/bigdata这样的格式指向 JournalNode 集群。dfs.ha.automatic-failover.enabled是否启用自动故障转移这里配 true。dfs.client.failover.proxy.provider.bigdata配置客户端使用的 failover proxy 实现类。JournalNode 是 HDFS 高可用里的另一个核心角色。它的作用类似一个共享存储Active NameNode 把编辑日志写到 JournalNode 集群Standby NameNode 持续读取这些日志并应用到自己的内存状态中这样两台 NameNode 的元数据保持一致。因此JournalNode 也需要在三台机器上都启动hdfs --daemon start journalnode在配置 HA 的首次启动流程里有个特别容易忽视的步骤先启动 JournalNode然后要在主节点执行初始化共享编辑日志的操作hdfs namenode -initializeSharedEdits之后把主节点的元数据目录复制到备用节点再在备用节点执行hdfs namenode -bootstrapStandby最后做主节点的格式化并启动。整个过程顺序如果搞反了经常会出现 standby 节点一直处于In Safe Mode或者两个节点都认为自己是 active 的情况非常折磨人。我自己第一次搭的时候因为这个顺序问题来回折腾了好几次。4.4 验证自动故障转移是否生效集群全部启动后你可以用hdfs haadmin -getAllServiceState查看两个 NameNode 的状态应该是一个 active 一个 standby。然后可以手动把 active 节点的进程杀掉或者直接执行hdfs haadmin -failover nn2 nn1来手动切换观察 standby 节点是否能在几秒内自动变成 active。这个过程如果正常高可用机制就算真正生效了。很多人把 ZooKeeper 集群和 Hadoop 集群当作两套完全独立的东西来搭但其实一旦配置了自动故障转移HDFS 启动时就会自动连接 ZooKeeper。如果 ZooKeeper 有问题HDFS 的 StateStore 会报错。所以生产环境里通常先把 ZooKeeper 启起来再启动 HDFS顺序也是经验之一。5. 常见问题与排查技巧实录这部分是我最想写的内容。网上配置教程一大把但真正报错之后怎么处理反而被很少人说清楚。我把自己在搭建过程中遇到的高频问题梳理成了一份速查表方便你直接对照排查。5.1 高频错误速查表报错信息或现象可能原因解决方案Incompatible clusterIDs格式化 NameNode 后DataNode 的 clusterID 与 NameNode 不一致清空各节点 dataDir 下current/VERSION里的 clusterID或统一删除后重新格式化java.net.ConnectException: Connection refused检查端口与 IP核心是 hosts 映射或防火墙确认 hosts 映射正确关闭防火墙从主节点 telnet 各节点端口NameNode is not formatted忘了执行hdfs namenode -format执行格式化后再启动Server IPC version 9 cannot communicate with client version 11Hadoop 版本不一致用scp完整同步 Hadoop 安装目录确保所有节点版本一致YARN 任务跑起来一直是 ACCEPTED 状态辅助服务没配 mapreduce_shuffle检查yarn-site.xml的yarn.nodemanager.aux-serviceszk: command not foundZooKeeper 环境变量没配好检查 ZK_HOME 与 PATHStandby NameNode 启动报Edit log file ... not foundJournalNode 启动晚了或共享目录不一致确认 JournalNode 三台都启动重新执行bootstrapStandby磁盘空间不足导致 DataNode 无法启动集群训练数据太大清理系统盘或把dfs.datanode.data.dir指到有足够空间的数据盘表格里的问题我基本都遇到过。最让我记忆深刻的是clusterID不一致的问题。当时格式化完 NameNode启动 DataNode日志里全是Incompatible clusterIDs我一度以为是系统环境问题。后来才发现每次格式化 NameNode 会产生一个新的 clusterID而 DataNode 目录下还保留着旧 ID两边对应不上自然拒绝通信。解决的办法很简单把 DataNode 的current目录删掉再重新启动让它重新注册即可但删之前一定要确认里面没有重要数据。5.2 几个提升集群稳定性的调优习惯对于想要更进一步的朋友我再分享几个实际运维中比较有用的习惯。第一个是日志必须养成看日志的习惯。Hadoop 的日志目录在$HADOOP_HOME/logs/下某个组件启动失败了别急着网上搜先去 logs 目录里找到对应的.log文件搜ERROR或Exception。很多时候报错信息里已经写明了答案只是我们习惯性忽略它。第二个是不要让 NameNode 所在机器的磁盘装满。NameNode 的元数据目录和 DataNode 的数据块目录如果都在同一个磁盘分区的不同目录下一旦磁盘满了整个 HDFS 会进入安全模式表现为“文件只能读不能写”。这个坑在虚拟机练习环境里特别容易踩因为虚拟磁盘默认 40G装几个中间件、传几个数据集就满了。解决方案是给/opt/bigdata单独挂一块盘或者至少把 NameNode 的元数据目录和 DataNode 的数据目录规划到不同的挂载点。第三个是善用hdfs dfsadmin -report和hdfs dfsadmin -safemode get这两个命令。前者快速查看当前有哪些 DataNode 在线上、每台机器的存储容量是多少后者查看 HDFS 是否处于安全模式。只要出现意外启动或异常退出我都优先用这两个命令做一次快速体检比登录 Web 界面还快。第四个建议如果你准备往这套集群上继续装 Hive 或者 Spark建议在装之前先把所有组件的版本兼容矩阵拉出来。很多人兴冲冲装完了 Hive结果跑查询时报警NoClassDefFoundError: org/apache/hadoop/crypto/...十有八九是 Hive 和 Hadoop 的版本不匹配。这个报错我搜过很多次最终结论就是统一版本不要混合使用太新或太旧的依赖。6. 从搭建到扩展生态组件还能这样接集群一旦跑顺了我强烈建议你再往上叠一个组件试一下比如把 Hive 装上或者把 Spark 也部署起来。这一步不是为了炫技而是帮助你理解 Hadoop 作为“底层存储和调度平台”的真正意义。很多人在面试时被问“HDFS 的读写流程是怎样的”“YARN 的任务调度机制是怎样的”其实你在集群上实际跑一遍hadoop jar自带示例、再用 Hive 跑一条 SQL对这些概念的理解会完全不一样。6.1 把 Hive 部署到 Hadoop 上理解元数据与共享依赖Hive 的核心是“把 SQL 翻译成 MapReduce 任务”它本身不存数据数据还是落在 HDFS 上。部署时你需要下载对应 Hadoop 版本的 Hive比如选用 Hive 3.1.3 配 Hadoop 3.3.x。配置hive-site.xml里需要指定三件事Hive 的元数据存储地址一般用本地 MySQL 或 Derby、HDFS 的根目录、执行引擎可以用 MapReduce 或 Tez。默认执行引擎是 Tez 时有朋友遇到过NoClassDefFoundError这类问题这个时候建议暂时把hive.execution.engine改成mr跑通了再换 Tez不要一上来直接挑战最难路径。6.2 把 Spark 部署到 Hadoop 上踩过的坑与建议Spark 的好处是可以完全走 YARN 调度也就是让 Hadoop 集群帮忙管理任务资源。部署 Spark 相比 Hive 要简单一些解压后只要配置spark-env.sh里的JAVA_HOME和HADOOP_CONF_DIR再让 Spark 应用提交时指定--master yarn就可以了。唯一要注意的是 Spark 包里的hadoop-client依赖版本尽量和集群的 Hadoop 版本对应。我自己试过用 Spark 2.4 配 Hadoop 3.3跑起来倒没什么大问题但有些 API 因为版本冲突会警告看着心里不舒服。对于初次尝试的朋友我的建议是不要同时启动太多组件。先保证 HDFS 和 YARN 稳定再逐步加 Zookeeper、Hive、Spark。每加一个组件前先备份一份当前主节点/opt/bigdata/hadoop/etc/hadoop/的配置目录如果加完新组件导致原有集群起不来第一时间先回滚配置确认是新组件的问题还是配置被改错了。6.3 扩展性规划如果集群要变大如果你以后真的要把这套集群扩大到十个节点以上有几个习惯现在就该养成。第一个是尽量不手动逐台部署了建议用 Ansible、SaltStack 或者 Cloudera Manager 这类自动化工具来做分发和配置管理。第二个是数据目录的规划要符合“数据盘独立”的原则不要让系统盘和数据盘混在一起。第三个是机器的硬件配置尽量保持一致尤其是内存和磁盘否则 YARN 调度时会出现资源碎片运行长任务时体验很糟。靠着前期多花的一点点时间后面会省下好几倍排查问题的精力这一点无论怎么说都不为过。我在实际搭建中最大的体会是Hadoop 集群搭建本身并不难真正难的是把每一层之间的关系理清楚。HDFS 解决了文件存储YARN 解决了资源调度ZooKeeper 解决了高可用下的选主Hive 解决的是 SQL 接口Spark 解决的是更高效的计算。你每按下一次启动键背后其实是这一套生态组件在协同工作。当你能够看着 jps 输出里所有角色都乖乖在线、用 Web 界面看到 DataNode 一块块存储报告时那种满足感是看多少教程都体会不到的。最后再分享一个小技巧把$HADOOP_HOME/etc/hadoop里的配置文件单独做一份 git 仓库记录每次改动。等哪次集群被折腾坏了一条git diff就能定位到你到底改了什么省去的痛苦绝对超乎你的想象。