首页/新闻资讯/正文详情

【算子1】spark(三):spark core:trans算子中value类型的算子使用说明

发布时间:2026/11/3 9:09:53 来源:云帆数科 栏目:资讯中心
【算子1】spark(三):spark core:trans算子中value类型的算子使用说明
通过了解spark整体的算子知道spark的RDD能够提供哪些数据处理的功能以及掌握如何使用。文章目录1. 算子分类概述2. 常见算子使用举例mapmapPartitions(func)glomdistinct()coalesce(numPartitions)coalesce和repartition的区别在 Spark Core中RDD支持 2 种操作:transformation算子从一个已知的 RDD 中创建出来一个新的 RDD 。action算子触发SparkContext提交Job作业算子整体上分为Value类型和Key-Value类型value类型的算子针对处理value类型的数据而key-value类型用于处理数据是key,value类型的。接下来的篇章我们会介绍不同类型的算子本文介绍trans算子中value类型的算子使用。1. 算子分类概述1、 (输入与输出分区一对一map(func):一条数据调用一次mapPartitions(func)功能类似于map但是一个分区的数据调用一次glom(func)将每一个分区的数据形成一个数组sortBy(func,[ascending],[numTasks]):根据处理后的数据比较结果排序默认为正序。2、一对多flatMap(func)对每一条数据操作每次都返回一个序列3、输入分区与输出分区多对一型union(otherDataset):源RDD和参数RDD求并集后返回一个新的RDDsubtract(otherDataset)取差去除两个RDD中相同的元素不同的源RDD将保留下来intersection(otherDataset)交集后返回一个新的RDDzip(otherDataset)将两个RDD组合成Key/Value形式的RDD,这里默认两个RDD的partition数量以及元素数量都相同否则会抛出异常。4、(输入分区与输出分区)多对多grouBy(func)分组按照传入函数的返回值进行分组。将相同返回值的对应值放入一个迭代器。5、输出是输入的子集filter(func)根据func的逻辑去过滤数据func返回为true的元素留下distinct([numTasks]))去重经历了shuffle。默认情况下并行度为8。可选参数可以设置来改变分区数即储存的文件数量。sample(withReplacement,fraction,seed) withReplacement抽取的元素是否放回true放回 fraction每个元素被选择的概率也可所有元素抽取的比例 seed用于指定随机数生成器种子6、Cache型cache()persist算子2. 常见算子使用举例mapmapPartitions(func)glomdistinct()coalesce(numPartitions)缩减分区数用于大数据集过滤后提高小数据集的执行效率。coalesce和repartition的区别coalesce重新分区可以选择是否进行shuffle过程。由参数shuffle:Booleanfalse/true决定。 repartition实际上是调用的coalesce默认是进行shuffle的。 源码如下 defrepartition(numPartitions:Int)(implicit ord:Ordering[T]null):RDD[T]withScope{coalesce(numPartitions,shuffletrue)}

相关推荐

51单片机:keil软件问题Error: failed to execute ‘C:UsersliguangyunDesktopC51BINC51.EXE‘
51单片机:keil软件问题Error: failed to execute ‘C:UsersliguangyunDesktopC51BINC51.EXE‘

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 9:09:53

【设计模式】继承的替代方式:装饰者模式-动态丰富对象功能,而不是实现大量的继承实例
【设计模式】继承的替代方式:装饰者模式-动态丰富对象功能,而不是实现大量的继承实例

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 9:09:53

MAX14431BAEE+与PIC18F87J10的隔离SPI通信设计与实战
MAX14431BAEE+与PIC18F87J10的隔离SPI通信设计与实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 9:08:53

Java中的引用类型分为四种:强引用(Strong Reference)、软引用(Soft Reference)、弱引用(Weak Reference)和虚引用(Phantom Reference)
Java中的引用类型分为四种:强引用(Strong Reference)、软引用(Soft Reference)、弱引用(Weak Reference)和虚引用(Phantom Reference)

Object obj new Object() 这行代码太熟了,熟到大多数人从没想过:obj 只是引用变量,而“引用”本身是分等级的。除了这种默认、最强硬的一种,JDK 还提供了软引用、弱引用、虚引用。它们改变的其实只是一件事——对象什么时候可以被… · 2026/11/3 9:53:58

【系统架构设计师-Redis(2)】Redis 五大核心数据结构与典型场景实战(含秒杀、限流、队列、排行榜)
【系统架构设计师-Redis(2)】Redis 五大核心数据结构与典型场景实战(含秒杀、限流、队列、排行榜)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 9:53:58

TabPFN-3终极指南:如何在5分钟内掌握这个革命性表格预测模型
TabPFN-3终极指南:如何在5分钟内掌握这个革命性表格预测模型

TabPFN-3终极指南:如何在5分钟内掌握这个革命性表格预测模型 你想知道如何快速上手最先进的表格预测模型吗?TabPFN-3作为一款基于Transformer架构的表格预测基础模型,通过上下文学习技术,能够在单次前向传播中解决复杂的表格预测… · 2026/11/3 9:53:58

LTX-Best-Face-ID vs 传统视频生成工具:为什么它是人脸保留的最佳选择
LTX-Best-Face-ID vs 传统视频生成工具:为什么它是人脸保留的最佳选择

LTX-Best-Face-ID vs 传统视频生成工具:为什么它是人脸保留的最佳选择 LTX-Best-Face-ID是一款基于LTX-2.3(22B)模型的身份保留参考转视频LoRA工具,它能根据人物参考照片和文本提示生成保持人物身份的视频。与传统视频生成工具相… · 2026/11/3 9:53:58

BBDown 下载 B 站视频完整指南:从单集视频到批量番剧的命令行工具
BBDown 下载 B 站视频完整指南:从单集视频到批量番剧的命令行工具

BBDown 下载 B 站视频完整指南:从单集视频到批量番剧的命令行工具 【免费下载链接】BBDown Bilibili Downloader. 一个命令行式哔哩哔哩下载器. 项目地址: https://gitcode.com/gh_mirrors/bb/BBDown BBDown 是一个免费开源的命令行 B 站视频下载器&#xff… · 2026/11/3 9:53:58

如何快速部署Mistral Medium 3.5 128B:5步完成本地vLLM服务器搭建
如何快速部署Mistral Medium 3.5 128B:5步完成本地vLLM服务器搭建

如何快速部署Mistral Medium 3.5 128B:5步完成本地vLLM服务器搭建 Mistral Medium 3.5 128B是一款具有1280亿参数的强大开源AI模型,支持256k超长上下文窗口,具备多模态输入、函数调用和推理能力。本文将通过5个简单步骤,教你如何… · 2026/11/3 9:52:57

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 6:04:24

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 5:52:46

STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战
STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题
ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践
基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 6:04:24

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 5:52:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码