简介《大数据技术中Hive安装与配置详解》是一份面向大数据初学者及具备一定经验开发者的实操型文档围绕Hive环境从零搭建与MySQL元数据存储配置展开兼顾企业首次部署集群、个人学习研究等场景也适合需要补强HDFS依赖理解的技术支持人员。压缩包内含1个docx文件大小约44KB内容集中、便于按章节查阅可作为安装配置阶段的随身手册。文档覆盖下载解压、环境变量设置、hive-env.sh与hive-site.xml关键参数说明并对配置项含义、常见问题及注意事项进行解释能帮助读者理解Hive与HDFS、MySQL的协同关系减少环境搭建中的反复试错。已有704人学习可作为独立完成安装流程、熟悉基础Linux操作后的实践参考。1. 先别急着解压Hive 3.1.2 装前版本盘查Hive 安装与配置最典型的翻车点不是 tar 包解压报错而是 Hive 3.1.2 的 shell 能进去一执行show databases就卡在元数据库。BigData 环境里 HDFS、MySQL、Hive 三者的版本和路径一旦没对齐hive-site.xml里一个 JDBC URL 写错后面schematool初始化、HiveServer2 启动都会连着失败。它常见于初次部署 Hive 集群、在个人机器上复现 HDFS 查询的开发者以及已经装过一遍但被 schema 版本和驱动包卡住的人。下面按我实际装 3.1.2 的顺序把下载、解压、环境变量、MySQL 元数据库、启动验证一路走完能照着复现。2. 落地 Hive 3.1.2从上传解压到 HIVE_HOME 生效我装 Hive 的顺序跟不少人相反先看 HDFS 和 MySQL 的端口再动 tar 包。Hive 安装与配置看起来是解压、配环境变量实际卡人的是路径和版本。Hive 3.1.2 对 JDK 1.8 的兼容性比较省心元数据库用 MySQL 5.7.28 也常见但HADOOP_HOME、JAVA_HOME、HIVE_HOME三个路径只要有一个写错hive --version可能没事一跑 SQL 就报找不到类或连不上 metastore。先把这套值定死后面所有配置都围绕它改。组件本文取值说明Hive3.1.2安装包apache-hive-3.1.2-bin.tar.gzMySQL5.7.28作为 Hive 元数据库不是 Hive 数据仓库本身JDK1.8路径按实际机器写示例/usr/java/jdk1.8HDFS已运行集群hdfs dfs -ls /要能跑通Hive 安装目录/export/servers/hive解压后统一重命名本地临时目录/usr/local/hadoop/hive/tmpscratch、resources、日志都放这里2.1 目录规划与安装包上传我一般先在目标机把目录和主机名解析处理好避免后面 HiveServer2 绑hadoop001时解析不到。Hive 安装包不需要在每台机器都放先集中放到hadoop001的/export/software后面真要做多节点再分发。目录规划不复杂但别把 Hive 解压到/root下不然后面换用户跑服务时权限会反复折腾。# 在 hadoop001 上确认主机名能被解析 hostname -f # 期望输出类似 hadoop001如果不是先把 /etc/hosts 里的映射补齐 # 建好安装包目录、安装目录和本地临时目录 mkdir -p /export/software /export/servers mkdir -p /usr/local/hadoop/hive/tmp /usr/local/hadoop/hive/tmp/resources mkdir -p /user/hadoop/hive/logs /user/hadoop/hive/operation_logshostname -f这一步别省。HiveServer2 的hive.server2.thrift.bind.host写的是主机名时系统解析不到就会启动失败。mkdir -p里前两行是安装目录和本地临时目录后面两个目录对应hive-site.xml里的查询日志和操作日志路径按原文路径放在本机/user/hadoop/hive下如果实际想换到/usr/local/hadoop/hive要记得配置文件和目录一起改别只改一边。安装包可以从 Hive 官方下载页取文件名是apache-hive-3.1.2-bin.tar.gz。服务器不能出网时本机下载后传上去能出网时直接在服务器下也行。上传用scp最直接# 在存放安装包的机器上执行把包推到 hadoop001 scp apache-hive-3.1.2-bin.tar.gz roothadoop001:/export/software/scp的源是当前目录下的安装包目标是roothadoop001的/export/software/。如果目标机不是 root 登录换成实际用户并确认该用户对/export/software有写权限。传完后在hadoop001上ls -lh /export/software/apache-hive-3.1.2-bin.tar.gz看一眼大小别传了一半就解压。2.2 解压、重命名与权限解压前先列一下包内容确认 tar 包没有损坏。tar -tzf只读不写适合做一次快速检查。确认能列出apache-hive-3.1.2-bin/目录后再正式解压避免解到一半报gzip: stdin: unexpected end of file。cd /export/software # 先看包内顶层目录确认包完整 tar -tzf apache-hive-3.1.2-bin.tar.gz | head # 解压到 /export/servers tar -zxvf apache-hive-3.1. p a hrefhttps://download.csdn.net/download/andsll/89975848 stylecolor:#ec7500;font-size:14px; 本文还有配套的精品资源点击获取 /a img altmenu-r.4af5f7ec.gif srchttps://csdnimg.cn/release/wenkucmsfe/public/img/menu-r.4af5f7ec.gif stylewidth:16px;margin-left:4px;vertical-align:text-bottom;cursor:text; /p
企业数字化 ERP 产品动态
相关推荐
Vue3响应式变量:ref与reactive深度解析与实践 1. 响应式变量基础概念解析响应式编程是现代前端框架的核心机制之一,它让开发者能够以声明式的方式管理应用状态。在Vue生态中,响应式变量主要通过ref和reactive两个API来实现,它们虽然目标相同但适用场景各有侧重。1.1 什么是响应式变量响应… · 2026/11/5 21:54:48
从预训练到Agent:大模型全链路技术解析与工程实践 大模型这个词这两年已经被说烂了,但真正能把"从预训练到Agent"这条链路讲清楚的人其实不多。我见过太多人一上来就冲着微调去,拿着LoRA脚本跑了一遍发现效果不对,回头才发现连基座模型是怎么来的、数据是怎么配比的都没搞明白。这篇… · 2026/11/5 8:23:20
产品列表页测试:核心价值、工具链与优化实践 1. 产品列表页测试的核心价值与挑战产品列表页作为电商平台、内容社区、SaaS服务等各类产品的核心流量入口,其稳定性和用户体验直接影响转化率与用户留存。根据我过去五年参与超过200个列表页测试项目的经验,一个典型的列表页需要同时满足以下核心需求&a… · 2026/11/5 11:56:15
EasyU优启通PE维护盘实战指南:制作、启动与核心操作全解析 1. 为什么一个PE维护盘值得单独拿出来聊装系统、修引导、救数据、清病毒,这些活儿但凡干过几次的人都知道,真正决定效率的往往不是你手速多快,而是手边那套PE环境靠不靠谱。EasyU(圈内习惯叫优启通)就是在这个场景下被… · 2026/11/5 16:49:35
Rust原来很简单二:所有权系统 Part 2 核心篇 —— 所有权系统
本篇覆盖 第 6 ~ 10 章:所有权、借用与引用、生命周期、字符串与切片、内存模型。 ⚠️ 这是全书最重要的一篇。 把它吃透,Rust 从此“很简单”;跳过它,你会处处碰壁。请慢下来,动手敲每一段代码。 第 6 章 所有权:Rust 的第一性原理
6… · 2026/11/5 16:26:08
基于Hadoop+Spark的民宿智能推荐系统设计与实现 1. 项目概述:大数据时代的民宿智能推荐这个毕业设计项目融合了当前大数据领域最主流的技术栈,构建了一个完整的民宿推荐系统解决方案。作为一名长期从事大数据系统开发的工程师,我认为这个选题非常贴合实际应用场景——随着旅游业的复苏和共享… · 2026/11/5 14:59:25
ADS122U04IPWR+STM32F427ZI工业级温度测量信号链设计 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/5 14:10:41
UART接口24位ADC搭配RS485,解决远距离温度监控难题 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/5 14:10:41
UART接口24位ADC搭配PIC18F46K22的RTD与热电偶测温实践 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/5 14:10:41
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/5 10:27:59
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/5 10:28:03
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/5 10:28:07
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/5 10:27:59
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/5 10:28:03
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/5 10:28:07