首页/新闻资讯/正文详情

【基础-配置文件】:hadoop配置文件作用概述ing

发布时间:2026/11/3 18:15:55 来源:云帆数科 栏目:资讯中心
【基础-配置文件】:hadoop配置文件作用概述ing
通过了解hadoop各配置文件的含义帮助理解job提交到yarn集群失败时的相关排查、以及job提交时相关配置参考。文章目录一、只读默认配置文件二、可配置文件1. core-site.xml2. hdfs-site.xml3. yarn-site.xml4. mapred-site.xmlHadoop 配置文件分两类默认配置文件和可配置文件一般可配置文件生效的优先级大于默认的配置文件。一、只读默认配置文件默认的配置文件存放在 Hadoop 的 jar 包中的位置[core-default.xml] hadoop-common-3.1.3.jar/core-default.xml [hdfs-default.xml] hadoop-hdfs-3.1.3.jar/hdfs-default.xml [yarn-default.xml] hadoop-yarn-common-3.1.3.jar/yarn-default.xml [mapred-default.xml] hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml二、可配置文件hadoop-env.sh 、 core-site.xml、hdfs-site.xml 、yarn-site.xml、mapred-site.xml主要的五个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上用户可以根据项目需求重新进行修改配置。配置说明hadoop-env.sh定义hadoop运行环境的相关配置比如JAVA_HOME环境变量、hadoop的JVM指定特定的选项、指定日志文件所在的目录路径、master和slave文件的位置等.core-site.xml定义系统级别的参数如HDFS URL、Hadoop的临时目录、用于rack-aware集群中的配置文件的配置等。优先级高于core-default.xml。hdfs-site.xmlHDFS的相关设定如文件副本的个数、块大小及是否使用强制权限等。优先级高于hdfs-default.xml。yarn-site.xmlYarn的相关配置mapred-site.xml如reduce任务的默认个数、任务所能够使用内存的默认上下限等;优先级高于mapred-default.xml注意Hadoop2.x和Hadoop3.x的自定义配置文件有一些改变Hadoop2.xcore-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slavesHadoop3.xcore-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、workers1. core-site.xml核心全局配置文件配置说明hadoop.tmp.dir其他临时目录的父目录属性会影响nn/snn中的元数据与datanode中的数据文件存放位置。见下面hdfs-site.xml中的描述。例子/usr/local/data/hadoop/tmpfs.defaultFS默认文件系统的名称。通常指定namenode的URI地址包括主机和端口例子hdfs://hadoop-alone:9000io.file.buffer.size在序列文件中使用的缓冲区大小是页大小例子4096ha.zookeeper.quorumzk集群数量是奇数且不少于三个节点hadoop1:2181,hadoop2:2181,hadoop3:21812. hdfs-site.xml配置说明dfs.replication副本数量。例子3dfs.blocksize块大小。例子268435456dfs.namenode.name.dir存放nn元数据fsimage目录如果是目录列表则用于冗余;例子file://${hadoop.tmp.dir}/dfs/namedfs.datanode.data.dirdn块目录如果是目录列表则数据将存储在所有命名的目录中通常存储在不同的设备上例子file://${hadoop.tmp.dir}/dfs/datadfs.namenode.http-addressnn服务器server0.0.0.0:50070dfs.namenode.secondary.http-addresssnn服务器server0.0.0.0:50090dfs.permissionsfalsedfs.permissions.enabledfalsedfs.nameserviceshdfs集群名字例子hadoop-cluster13. yarn-site.xml配置说明yarn.resourcemanager.hostnameRM的hostnameyarn.resourcemanager.addressRM对客户端暴露的地址客户端通过该地址向RM提交应用程序等${yarn.resourcemanager.hostname}:8032yarn.resourcemanager.scheduler.addressRM对AM暴露的地址AM通过地址向RM申请资源释放资源等${yarn.resourcemanager.hostname}:8030yarn.resourcemanager.webapp.addressRM对外暴露的web http地址用户可通过该地址在浏览器中查看集群信息${yarn.resourcemanager.hostname}:8088yarn.resourcemanager.webapp.https.addressweb https 地址${yarn.resourcemanager.hostname}:8090yarn.resourcemanager.resource-tracker.addressRM对NM暴露地址NM通过该地址向RM汇报心跳领取任务等${yarn.resourcemanager.hostname}:8031yarn.scheduler.minimum-allocation-mb可申请的最少内存资源以MB为单位例子1024yarn.scheduler.maximum-allocation-mb可申请的最大内存资源以MB为单位例子8192yarn.nodemanager.resource.memory-mbNM总的可用物理内存以MB为单位。一旦设置不可动态修改;例子8192yarn.nodemanager.resource.cpu-vcores可分配的CPU个数;例子8yarn.nodemanager.aux-servicesNodeManager上运行的附属服务。需配置成mapreduce_shuffle才可运行MapReduce程序。YARN 集群为 MapReduce 程序提供的 shuffle 服务例子mapreduce_shuffle4. mapred-site.xml配置说明mapreduce.framework.name配置资源调度框架;例子yarn

相关推荐

【运维与安装】Hadoop 3.3.1 :Setting up a Single Node Cluster.
【运维与安装】Hadoop 3.3.1 :Setting up a Single Node Cluster.

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 18:15:55

RK3588 SDK编译实战:从交叉编译到NPU部署YOLOv8
RK3588 SDK编译实战:从交叉编译到NPU部署YOLOv8

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 18:14:54

STM32智能门禁实战:指纹识别、密码验证与蓝牙通信全链路拆解
STM32智能门禁实战:指纹识别、密码验证与蓝牙通信全链路拆解

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 18:14:54

Oracle 19c PDB SYSAUX膨胀清理与ORA-65040避坑
Oracle 19c PDB SYSAUX膨胀清理与ORA-65040避坑

接手一套多租户环境之后,最容易让人半夜爬起来处理的告警,往往不是业务库连不上,而是某个 PDB 的 SYSAUX 表空间使用率突然从 40% 跳到 85%。业务侧一切正常,监控侧却在反复告警,登录进去一查,V$SYSAUX_OCC… · 2026/11/3 21:04:19

Buzz技术解析:从蜂鸣噪声抑制到社交热度建模
Buzz技术解析:从蜂鸣噪声抑制到社交热度建模

我无法基于当前输入生成符合要求的博文。原因如下:输入中仅提供了项目标题"buzz",以及空的“相关热搜词”和“最新网络热词”字段(内容为),未提供任何实质性的【项目正文】、【关键词】或【摘要描述】&#… · 2026/11/3 21:04:19

Oracle 19c PDB SYSAUX膨胀清理与ORA-65040
Oracle 19c PDB SYSAUX膨胀清理与ORA-65040

Oracle 19c 的 PDB 里,SYSAUX 表空间报警是个挺常见的场景。我第一次遇到时, DBA_SEGMENTS 一查,排在前面的不是业务表,而是 WRI$_ADV_OBJECTS 和它拖家带口的 LOB、索引段,加起来几十 GB。更让人上火的是&#xf… · 2026/11/3 21:04:19

多智能体分布式算法在电网调度中的实践与优化
多智能体分布式算法在电网调度中的实践与优化

1. 项目背景与核心价值去年参与某省级电网调度系统升级时,我第一次真切体会到传统集中式经济调度面临的困境。当新能源渗透率超过30%后,调度中心每天要处理上万个节点的数据,计算延迟经常超过15分钟,而电网频率偏差却要求控制在0.… · 2026/11/3 21:04:19

ShardingJDBC十亿级数据分库分表实战指南
ShardingJDBC十亿级数据分库分表实战指南

1. ShardingJDBC 十亿级数据处理实战解析当数据量突破十亿级别时,传统单库单表的架构就像一辆超载的卡车,不仅行驶缓慢,随时还有抛锚的风险。我在金融支付系统架构升级过程中,曾用ShardingJDBC成功将日均处理量从300万笔提升到800… · 2026/11/3 21:04:19

智能数据库建模助手的核心技术与应用实践
智能数据库建模助手的核心技术与应用实践

1. 为什么我们需要智能数据库建模助手? 在传统数据库设计流程中,开发团队通常需要经历以下几个痛苦阶段:业务分析师花费数周整理需求文档,DBA手工绘制ER图,开发人员反复确认字段类型和关系,测试阶段才发现外… · 2026/11/3 21:03:19

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 6:04:24

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 5:52:46

STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战
STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题
ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践
基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 6:04:24

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 5:52:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码