首页/新闻资讯/正文详情

随机交换检验数据挖掘结果-assessing data mining result via swap randomization

发布时间:2026/11/3 8:59:45 来源:云帆数科 栏目:资讯中心
随机交换检验数据挖掘结果-assessing data mining result via swap randomization
这是一篇我比较推崇的文章.06年获得KDD的best paper runner up。近年来数据挖掘在理论上突破很少这可以算一篇。长久以来数据挖掘一直关注方法很少有研究数据集潜在本质的如何从数据集表现形式去挖掘数据之间更深刻的联系这篇论文最大亮点就是提出了一种度量数据挖掘方法尤其是无监督的的方法在数据集上效果的新思路。这篇文章随机交换的思想非常简单除了第四章有难度其他章节都十分容易看懂。另外此文书写和内容组织也非常值得借鉴。这篇文章我争取翻译出精华部分第四章论证部分本人看不懂没法做..第五章是实验我也就懒得翻了本人翻译水平实在不好在此还是推荐大家直接阅读原文我用AI写了一份学习文档学习文档用交换随机化Swap Randomization评估数据挖掘结果介绍数据挖掘中一个重要的研究议题是确定发现的模式或模型是否显著。虽然传统统计方法已经早已用以进行显著性检验但是在数据挖掘领域这一方法却没有得到足够的重视。在本文中提出采用随机交换来检验在0-1数据集上的数据挖掘结果。随机交换的基本思想是给定一个数据集D随机生成一批行间距row margin以及列间距(column margin)相同的数据集。在这些随机数据集上进行挖掘看挖掘结果是否显著不同于在原数据集上的挖掘结果。如果不是我们可以假设挖掘结果只是由于行间距及列间距的原因而不是数据集中的有趣结构。产生这样的数据集是通过交换完成的对两行u,v和两列,A,B满足uAvB1和uBvA0改变行使得uBvA1和uAvB0.如图所示为何要保持行间距列间距一致用一个简单的例子说明给定两个0-1数据集D1和D2如图2.5。若使用chi、皮尔逊相关系数考察两个数据集中项X与项Y的相关性会得到相同的结果。这是由于这些相关性检验方法的只考虑到项X和项Y的列(column)属性因此所有的相关性检验的结果都一致。然而我们看到在D1中项X与项Y共同出现在差异较大的行(row)里而在D2中项X与项Y出现在元素密集的行里那么我们会猜测D2中的X与Y的关系并不是由于本身存在有趣的联系而仅仅是因为它们同时出现在项比较密集的行中。两个0-1数据集A B项X与项Y的联系可能是由于整个数据集的作用假设项X与项Y是两种超市购物篮数据中的商品X与Y在D2数据集表现出的联系是由于许多客户买了几乎所有的商品而非X与Y商品即存在的内在关联。为了验证假设文献分别构造了拥有10倍D1和D2行数的数据集AB显然项X与项Y共现的次数都是60。然后分别生成了1000个随机数据集在A的随机数据集中项X与项Y共同次数最大和平均分别为59和52.4而B的随机数据集中这两个值分别是69和63.2。那么可以肯定项X与项Y在A中共现次数更多、项X与项Y的关系存在隐含的联系而B中项X与项Y的联系少于预期它们之间的联系可能被高估了。行列间距列间距往往隐含了很多数据集上的潜在熟悉例如在一个以布尔向量表示的文本数据集行表示文本列表示词0代表一个词不在一个文本里出现1代表出现行间距代表一个文本里存在的不同的词列间距代表一个词在文集里使用程度。又度量复杂网络特性的度分布边分布等。因此随机数据集保证行间距列间距固定可以看出数据之间的联系是否只由行列间距决定。方法的概述使D表示一个含有m行n列的0-1数据集行代表样本列代表项0和1分别表示项是否出现在样本中。我们希望检验一个数据挖掘算法A在D上的结果令A(D)表示这一结果为了简单期间A(D)可以是一个数值比如频繁模式挖掘中频繁集数量、聚类任务中的聚类错误等等。在随机交换过程中产生k个数据集D1, D2…Dk每个Dt,t1,2…k也是含m行n列的0-1数据集算法A在每个数据集上的结果为XtA(Dt)算法显著性可以通过比较A(D)和X{X1,X2…Xk}。许多方法可以用来检验A(D)显著性。比如p-value或Z-score随机交换的局限我们相信比较原数据集与随机交换的数据集是一种不错的检验数据挖掘算法的方法。然而何为“有趣”模式并没有统一明确的定义、并且也相当主观因此不能指望随机交换可以检验出所有的“有趣”模式是否真如此。实际上随机交换的也很明确检验发现的模式“有趣性”是否直接又行列分布所影响。其他“有趣性”并不被这种方法所包含。另外随机交换只能在二元数据集上进行而数值属性的数据集上并不适用另外也不清楚如何对类别属性如何进行随机交换。算法朴素的方法(algorimth 1)每次在图中找到一对可交换的边(algorithm 2)进行交换输入图GD,随机交换步数k输出具有行列间距一致的新图GD第三行用到了算法2朴素的方法并不能产生均匀分布的抽样要达到这点可以采用self loop或Metropolis-Hastings方法Self loop方法Metropolis-Hastings方法可以看到Self loop方法只是在每次寻找可交换的边时也进行了k的统计Metropolis-Hastings方法是在每次找到可交换边后以 min{1,d(G)/d(G)}概率进行交换。在实际中self_loop更简单也更快速Metropolis-Hastings需要计算d(G)/d(G)关于算法证明和实验大家还是自己看原文比较好翻译得不好请勿见怪~

相关推荐

用Superpowers技能工作流驯服AI编码代理:Java项目实战
用Superpowers技能工作流驯服AI编码代理:Java项目实战

最近我基本把日常编码全部交给了 AI 编码代理,Codex 用得最多。刚开始那两周,感觉就像让一个聪明但没经验的实习生直接改代码:你让他写个单元测试,他先给你写了 300 行实现;你让他重构,他连现有测试跑不跑都… · 2026/11/3 8:58:45

Web Streams流式解析工程化实践指南
Web Streams流式解析工程化实践指南

1. 项目概述:为什么“流式解析工程化”正在成为AI交互的底层基建最近三个月,我陆续接手了五个不同行业的客户项目,从教育类SaaS的实时作文批改,到金融风控平台的长文本合规分析,再到医疗影像报告的结构化提取——它们表… · 2026/11/3 8:58:45

DS12C887实时时钟芯片在辉光管时钟中的硬件连接与寄存器操作详解
DS12C887实时时钟芯片在辉光管时钟中的硬件连接与寄存器操作详解

1. 为什么这颗“老古董”芯片值得单独拎出来讲做辉光管时钟做到第三篇,前两篇聊了高压驱动和管座结构,这次必须把时间基准这块硬骨头啃下来。很多新手一上来就盯着升压电路和译码逻辑,觉得把数字点亮就完事了,结果装好之后发现走时… · 2026/11/3 8:58:45

终极实战指南:如何快速使用te_PP-OCRv5_mobile_rec_onnx实现身份证/车牌/文档智能识别
终极实战指南:如何快速使用te_PP-OCRv5_mobile_rec_onnx实现身份证/车牌/文档智能识别

终极实战指南:如何快速使用te_PP-OCRv5_mobile_rec_onnx实现身份证/车牌/文档智能识别 在移动端OCR技术飞速发展的今天,te_PP-OCRv5_mobile_rec_onnx 作为飞桨PaddlePaddle推出的移动端优化OCR模型,为开发者提供了高效、精准的文本识别解决方… · 2026/11/3 9:25:14

WanVideo_comfy:ComfyUI视频生成模型一站式解决方案
WanVideo_comfy:ComfyUI视频生成模型一站式解决方案

WanVideo_comfy:ComfyUI视频生成模型一站式解决方案 WanVideo_comfy是一个专为ComfyUI设计的视频生成模型整合包,汇集了Wan-AI生态系统中的多种高质量视频生成模型。该项目通过统一的架构和优化的部署方案,为AI视频创作者提供了从文本到视频… · 2026/11/3 9:25:14

如何配置 coraza-caddy 响应体检测:Phase 3/4 规则与 SecResponseBodyAccess 完整指南
如何配置 coraza-caddy 响应体检测:Phase 3/4 规则与 SecResponseBodyAccess 完整指南

后端网络安全 【免费下载链接】coraza-caddy OWASP Coraza middleware for Caddy. It provides Web Application Firewall capabilities 项目地址: https://gitcode.com/gh_mirrors/co/coraza-caddy 点击查看 免费下载 coraza-caddy 是 OWASP Coraza 为 Caddy 提供… · 2026/11/3 9:25:14

RT-DETR-L_wireless_table_cell_det_onnx项目实战:构建完整的表格OCR处理流水线
RT-DETR-L_wireless_table_cell_det_onnx项目实战:构建完整的表格OCR处理流水线

RT-DETR-L_wireless_table_cell_det_onnx项目实战:构建完整的表格OCR处理流水线 RT-DETR-L_wireless_table_cell_det_onnx是飞桨PaddlePaddle生态下的一个专注于表格单元格检测的模型项目,能够帮助用户快速构建从表格检测到内容识别的完整OCR处理流水线… · 2026/11/3 9:25:14

WorldStereo 2.0世界扩展详解:从全景图到可导航3D世界的转换秘籍
WorldStereo 2.0世界扩展详解:从全景图到可导航3D世界的转换秘籍

WorldStereo 2.0世界扩展详解:从全景图到可导航3D世界的转换秘籍 你是否曾梦想将一张普通的全景图变成一个可以自由探索的3D世界?🤔 腾讯混元团队的HY-World 2.0项目中的WorldStereo 2.0世界扩展技术,正是实现这一梦想的魔法钥匙… · 2026/11/3 9:25:14

【系统架构师设计(五)】需求工程之:需求开发与需求管理概述、结构化需求分析法
【系统架构师设计(五)】需求工程之:需求开发与需求管理概述、结构化需求分析法

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 9:24:14

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 6:04:24

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 5:52:46

STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战
STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题
ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践
基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 6:04:24

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 5:52:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码