首页/新闻资讯/正文详情

【Hadoop01-完全分布式运行模式】

发布时间:2026/9/26 1:20:54 来源:云帆数科 栏目:资讯中心
【Hadoop01-完全分布式运行模式】
1、分析1准备3台服务器先配置一台然后克隆两台2安装JDK之前配置过3安装hadoophadoop下载点击此处4配置环境变量vim /etc/profile5配置集群6单点启动7配置ssh8)群起并测试集群2、编写集群分发脚本因为我只在其中一个服务器上安装了hadoop需要将安装好的hadoop分发到另外两个服务器所以这里通过集群分发脚本将hadoop分发到另外两外机器。2.1、scpsecure copy安全拷贝定义scp可以实现服务器与服务器之间的数据拷贝基本语法scp -r $pdir/$fname $user$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的地用户主机:目的地路径/名称# 在160服务器操作将文件从160 拷贝到 161scp -r c/ root192.168.121.161:/opt/software/# 在161服务器操作将文件从160拷贝到161scp -r root192.168.121.161:/opt/software/hadoop-3.1.3 /opt/software/# 在161服务器操作将160的文件拷贝到162scp -r root192.168.121.160:/opt/software/hadoop-3.1.3 root192.168.121.162:/opt/software/2.2、rsync远程同步工具定义rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。rsync和scp区别用rsync做文件的复制要比scp的速度快rsync只对差异文件做更新。scp是把所有文件都复制过去。差异scp全量拷贝rsync增量拷贝基本语法rsync -av $pdir/$fname $user$host:$pdir/$fname命令 选项参数 要拷贝的文件路径/名称 目的地用户主机:目的地路径/名称# 只同步差异化文件将160同步到161rsync -av root192.168.121.160:/opt/software/hadoop-3.1.3/ /opt/software/hadoop-3.1.3/简化脚本好用的同步分发脚本预期目标1、xsync 文件名称 即可实现多个服务器完成同步操作。2、任何路径下都可以实现。下载工具xsyncyum -y install xsync编写脚本#!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]thenecho Not Enough Arguement!exit;fi#2. 遍历集群所有机器for host in 服务器160 服务器161 服务器162doecho $host #3. 遍历所有目录挨个发送for file in $do#4. 判断文件是否存在if [ -e $file ]then#5. 获取父目录pdir$(cd -P $(dirname $file); pwd)#6. 获取当前文件的名称fname$(basename $file)ssh $host mkdir -p $pdirrsync -av $pdir/$fname $host:$pdirelseecho $file does not exists!fiDonedone将脚本放到/bin目录下mv xsync /bin测试在根目录下创建一个目录110然后执行脚本去其它服务器看是否已完成同步# 建目录mkdir 110# 同步rsync 110同步环境变量# 同步rsync /etc/profile# 生效source /etc/profile# javajava -version# hadoophadoop version3、ssh免密登录配置3.1.无密钥配置# 显示当前目录下的所有文件和目录信息包括隐藏文件ls -al找到.ssh目录进入其中如果没有显示.ssh目录执行下列指令# 通过SSH 协议连接到本机常用于测试 SSH 服务是否正常运行或配置免密码登录等场景。ssh localhost再次执行 ls -al就可以看到.ssh目录了进去之后只有一个文件known_hosts文件。# 生成本机的公钥和私钥ssh-keygen -t rsa执行完上述指令后会多出来两个文件id_rsa和id_rsa.pubid_rsa存放了160的私钥id_rsa.pub存放了160的私钥。# 将公钥id拷贝到要访问的服务器上包括自己ssh-copy-id 服务器160ssh-copy-id 服务器161ssh-copy-id 服务器162另外两个服务器可以做相同的操作这样就可以互相免密访问。包括上述分发文件等操作。备注如果无法解析主机名那么执行下列操作vim etc/hostname文件中加上要访问的服务器id地址加上主机名称即可。192.168.121.160 服务器160 192.168.121.161 服务器161 192.168.121.161 服务器162

相关推荐

【后端架构】别再让雪崩压垮微服务!用 Go + Redis 实现滑动窗口限流与优雅降级
【后端架构】别再让雪崩压垮微服务!用 Go + Redis 实现滑动窗口限流与优雅降级

兄弟们,2026年了,如果你的微服务网关还在用简单的计数器或者固定窗口算法来做限流,那你大概率已经吃过“边界突发流量”打垮整个集群的苦头。在秒杀、大促等极端场景下,如果没有一套健壮的限流与熔断机制,一个接口的超… · 2026/9/25 21:21:27

GitHubDesktop2Chinese:5分钟极速汉化GitHub Desktop,告别英文界面困扰
GitHubDesktop2Chinese:5分钟极速汉化GitHub Desktop,告别英文界面困扰

GitHubDesktop2Chinese:5分钟极速汉化GitHub Desktop,告别英文界面困扰 【免费下载链接】GitHubDesktop2Chinese GithubDesktop语言本地化(汉化)工具 【GitHub桌面客户端中文汉化】 项目地址: https://gitcode.com/gh_mirrors/gi/GitHubDesktop2Chines… · 2026/9/25 4:06:05

DeblurGAN源码解析:从GAN原理到图像去模糊实战
DeblurGAN源码解析:从GAN原理到图像去模糊实战

1. 项目概述:从“去模糊”到“生成对抗”的视觉修复革命“DeblurGAN”这个名字,对于任何一个在计算机视觉,特别是图像恢复领域摸爬滚打过的人来说,都绝不陌生。它不是一个简单的工具,而是一个时代的标志,标… · 2026/9/24 17:31:47

Lottery 分布式抽奖系统部署实战:Docker 安装 Elasticsearch 与 Kibana 7.6.2
Lottery 分布式抽奖系统部署实战:Docker 安装 Elasticsearch 与 Kibana 7.6.2

文档教程后端 【免费下载链接】CodeGuide :books: 本代码库是作者小傅哥多年从事一线互联网 Java 开发的学习历程技术汇总,旨在为大家提供一个清晰详细的学习教程,侧重点更倾向编写Java核心内容。如果本仓库能为您提供帮助,请给予支持(关注、… · 2026/9/26 1:20:51

RK3576启动链路全解析:从BootROM到根文件系统挂载
RK3576启动链路全解析:从BootROM到根文件系统挂载

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 1:20:45

DeskcommCRM深度解析:从数据模型到坐席工作台落地实践
DeskcommCRM深度解析:从数据模型到坐席工作台落地实践

DeskcommCRM 这个名字,我第一眼看到就想聊几句。自己带团队做过客户管理系统的朋友都知道,市面上叫 CRM 的产品多到数不清,但真正能在办公桌面上天天打开、让销售和客服都愿意用的那套,往往是团队内部反复打磨出来的。DeskcommCRM… · 2026/9/26 1:20:38

矿山监测数据高效处理全流程:BP拟合、PCA压缩、卡尔曼去噪与贝叶斯调参
矿山监测数据高效处理全流程:BP拟合、PCA压缩、卡尔曼去噪与贝叶斯调参

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 1:20:26

QCoder:阿里打造的AI Native IDE重构开发者工作流
QCoder:阿里打造的AI Native IDE重构开发者工作流

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 1:20:26

末世塔防手游《向僵尸开炮》服务端手工搭建完整教程
末世塔防手游《向僵尸开炮》服务端手工搭建完整教程

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 1:20:20

数据库课后习题答案别硬背:当测试用例集刷,效率翻倍
数据库课后习题答案别硬背:当测试用例集刷,效率翻倍

简介:万常选版《数据库原理与设计》课后习题答案资源,覆盖第2至6章及第9章,适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件,含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21

OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置
OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40

向下兼容与向上兼容:接口设计中的兼容性策略与工程实践
向下兼容与向上兼容:接口设计中的兼容性策略与工程实践

一次版本升级事故,是很多团队绕不过去的坎。线上环境里,服务端明明已经上线了新版接口,老的移动端还在照着旧文档传参数。请求一到网关,校验直接拒绝,用户操作失败,客服群炸了锅,开发群里开始互… · 2026/9/26 0:00:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码