首页/新闻资讯/正文详情

TreeMap重复文件检测完全解析:SHA-256分阶段哈希+感知哈希dHash

发布时间:2026/11/19 7:10:01 来源:云帆数科 栏目:资讯中心
TreeMap重复文件检测完全解析:SHA-256分阶段哈希+感知哈希dHash
【免费下载链接】TreeMap-Disk-VisualizerTreeMap is a fully downloadable app that can run on mac, windows, and linux. That visualizeses all of your disk-space into charts and square board. It also lets you delete unwanted files and opens files for you aswell.项目地址https://gitcode.com/gh_mirrors/tr/TreeMap-Disk-Visualizer点击查看免费下载TreeMap 重复文件检测内置两套互补引擎分阶段 SHA-256 内容哈希精准找出逐字节相同的真重复64 位感知哈希 dHash 则能抓住被缩放、重新编码过的相似图片。本文带你完整看懂它如何分三阶段省掉 99% 的无谓读取、如何避免误删以及相似图片的阈值该怎么调。一分钟上手找到重复文件的 3 个步骤TreeMap 是一款可在 Mac、Windows、Linux 上运行的磁盘可视化工具扫描完成后即可开始重复文件狩猎完成一次扫描—— 重复检测建立在扫描结果树上扫描未完成时接口会返回 409SCAN_RUNNING提示稍后再试打开 Duplicates 视图—— 默认只统计 ≥ 1 KB十进制 1,000 字节的文件小文件噪音被过滤可传minSize参数调整等待后台哈希任务—— 任务按扫描 ID 建立前端轮询进度运行中返回 202 进度完成后返回 200 重复分组每组的可回收空间会逐组列出。任务进度会明确告诉你当前处于哪个阶段sizes→partial→full这正是下面三阶段哈希的直观体现。核心机制SHA-256 分阶段哈希为什么快朴素做法是对每个文件都算完整 SHA-256磁盘读满一遍。TreeMap 的做法是由便宜到昂贵三级过滤源码位于 duplicateFinder.ts第 1 阶段按精确大小分桶零成本大小完全来自扫描树不读任何文件内容——大小不同的文件绝不可能是内容重复一步筛掉绝大多数候选。只有同桶且 ≥ 2 个文件才进入下一阶段。第 2 阶段只读前 64 KiB 做局部哈希对每个候选文件仅读取开头 64 KiB 计算 SHA-256。绝大多数同大小文件在这里就会分道扬镳绝大多数磁盘 I/O 被省掉。第 3 阶段完整流式 SHA-256只对前 64 KiB 都相同的幸存文件用流式读取算完整 SHA-256见 hashFile全程以 4 路并发HASH_CONCURRENCY 4后台运行不阻塞界面。阶段读盘量淘汰对象大小分桶0所有不同大小的文件前 64 KiB 哈希很少开头就不同的假候选完整 SHA-256仅幸存者中途开始不同的文件这种分层设计让全盘扫描后找重复的代价从再读一遍整个磁盘降到几乎只读同大小文件的头部。它如何避免越帮越忙边界情况一览重复检测最怕误报TreeMap 对这些棘手场景都做了诚实处理☁️云端占位文件iCloud / OneDrive / Dropbox永不打开—— 读取占位符会触发下载所以它们只被计入notHashed统计多少个、多大绝不参与比较界面也会如实说明符号链接不读—— 跟随链接读到的可能是另一个文件甚至一个 Windows 云端重解析点硬链接—— 扫描器只在首个名字上计字节其余名字大小为 0天然不会进桶被误判macOS APFS 克隆—— Finder 的制作副本与原件共享底层数据块删掉副本并不省空间因此界面会把可回收数字标注为上界并给出说明⏳扫描后数据已同步走—— 读取前会再次确认文件仍在本地确认不了的宁可跳过并计入缺口绝不假装没发现重复。感知哈希 dHash相似图片也能被抓住字节级哈希有个盲区同一张照片的截图版、缩小版、重编码版一个字节不同就逃过 SHA-256。TreeMap 的 Near-duplicate images 标签页用 64 位dHash补上这块实现在 perceptualDupes.ts解码—— 图片被解码并缩放为 9×8 的灰度图8 行 9 列取指纹—— 每行比较相邻像素的明暗关系得到 8 位共 8 行 64 位 dHash比距离—— 两张图的 dHash 用汉明距离衡量差异小于等于阈值即判为相似。关键参数速查threshold 阈值默认100–32。值越小越严格误报越少值越大越宽松可能把不同图片聚到一起支持格式jpg / jpeg / png / gif / webp / bmp / tiff / heic / heif / avif大小门槛小于 4 KB 的图favicon 级直接跳过避免淹没真照片数量上限最多比较 8,000 张按大小取最大的防止 O(n²) 聚类的计算爆炸超限会如实标记truncated解码器优先用 sharp4 路并发无 sharp 时回退 ffmpeg两者都没有则明确报告不可用而不是静默失败。相似图片会经并查集聚类成簇每簇内按修改时间从新到旧排列——自动选择会保留最新的一份。点击 Compare 可以并排查看缩略图、尺寸、EXIF 拍摄日期还能看到两图64 个块中相差 4 块的 dHash 差异高亮删不删心里有数。读懂结果可回收空间是怎么算的每个重复组的可回收空间 文件大小 × (数量 − 1)即保留一份后省下的部分簇内按可回收量从高到低排序先看最值得动手的组。注意 macOS 上的 APFS 克隆说明见上文那是一组理论上限。相关接口与源码地图资源说明位置GET /api/duplicates?scanIdminSize真重复分组轮询至 completeinsightRoutes.tsGET /api/near-duplicates?scanIdthreshold10dHash 相似图片簇insightRoutes.tsGET /api/duplicates/detail2–8 个文件并排对比insightRoutes.ts三阶段哈希主体大小 → 64KiB → 完整 SHA-256duplicateFinder.tsdHash 汉明距离9×8 灰度 → 64 位指纹perceptualDupes.tsDuplicates 视图阈值滑块、ΔN 距离徽章200-duplicates-view.jsMCP 用户还可直接调用find_duplicates工具获取真重复结果。想亲自上手的话git clone https://gitcode.com/gh_mirrors/tr/TreeMap-Disk-Visualizer cd TreeMap-Disk-Visualizer npm install npm start常见问题 FAQ问重复检测会把文件删错吗不会自动删。每组都有 Compare 视图展示缩略图、路径、拍摄日期与推荐保留项删除规则还会被明文写出批量清理最终都进入 Clean Up 购物车人工确认。问为什么云端文件不在结果里打开 iCloud/OneDrive 占位文件等于下载它。TreeMap 选择跳过并如实报告多少张图未比较、占多少字节宁可答案有缺口也不悄悄下载。问图片太多检测会卡吗会按大小取最大的 8,000 张比较任务全程显示hashed / toHash进度且可随时取消cancelAllNearDupeJobs语义下的取消标记会让聚类循环提前退出。问阈值 10 该怎么调照片缩略图、截图副本一般 5–10 就能聚到一起如果不同照片也被误判为一组把 threshold 调小即可。赞分享【免费下载链接】TreeMap-Disk-VisualizerTreeMap is a fully downloadable app that can run on mac, windows, and linux. That visualizeses all of your disk-space into charts and square board. It also lets you delete unwanted files and opens files for you aswell.项目地址https://gitcode.com/gh_mirrors/tr/TreeMap-Disk-Visualizer点击查看免费下载相关推荐imagededup 哈希算法详解感知哈希、差异哈希、小波哈希深度解析imagededup 哈希算法详解感知哈希、差异哈希、小波哈希深度解析 在数字图像管理领域imagededup 项目提供了一套简单高效的图像去重解决方案。这计算机视觉图像处理Semaphore Runner Token 哈希化改造从明文存储到 SHA-256 哈希的完整实施方案Semaphore Runner Token 哈希化改造从明文存储到 SHA 256 哈希的完整实施方案 Runner Token 是 Semaphore 中后端前端任务调度运维CI/CD认证鉴权如何快速掌握开源音频编辑神器Audacity 4.0 终极使用指南如何快速掌握开源音频编辑神器Audacity 4.0 终极使用指南 Audacity 是一款完全免费的开源音频编辑软件支持多轨录音、专业效果处理和跨平台使用桌面应用音频音频处理上一篇express-validator 自定义错误消息完全指南从 Validator 级到字段级的消息控制与动态国际化下一篇Path of Building5分钟上手的流放之路离线Build规划与DPS计算器创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

针对 `EQPBizHelper` 类的并发分析及优化意见
针对 `EQPBizHelper` 类的并发分析及优化意见

针对 EQPBizHelper 类的并发分析及优化意见 用户提供了 EQPBizHelper 类的完整实现,该类代表一个测试工站,与 PLC 控制器、上位机 UI、MES/EAP 等模块交互。在多工站、多硬件环境下,该类的多个方法会被不同线程调用(如硬件消息接收… · 2026/11/18 13:55:12

OpenSpeedy 游戏变速完整指南:一条命令把单机游戏调出 1.5 到 5 倍速
OpenSpeedy 游戏变速完整指南:一条命令把单机游戏调出 1.5 到 5 倍速

OpenSpeedy 游戏变速完整指南:一条命令把单机游戏调出 1.5 到 5 倍速 【免费下载链接】OpenSpeedy 🎮 An open-source game speed modifier. 项目地址: https://gitcode.com/gh_mirrors/op/OpenSpeedy OpenSpeedy 是一款免费开源的 Windows 单机游… · 2026/11/19 4:23:26

Realtime Voice Changer 三步跑通 RVC 实时变声完整教程
Realtime Voice Changer 三步跑通 RVC 实时变声完整教程

Realtime Voice Changer 三步跑通 RVC 实时变声完整教程 【免费下载链接】voice-changer リアルタイムボイスチェンジャー Realtime Voice Changer 项目地址: https://gitcode.com/gh_mirrors/vo/voice-changer 直播和游戏里不想暴露真声,想要另一个音色&… · 2026/11/15 11:45:32

特种作业操作证二氧怎么考?良心建议别再踩坑了!
特种作业操作证二氧怎么考?良心建议别再踩坑了!

特种作业操作证二氧怎么考?良心建议别再踩坑了! 你是不是正被“急需特种作业证才能上岗找工作”这句话折磨得不行?别急,这期内容就是为你们这些准备考【特种作业操作证二氧】的兄弟量身定制的, 良心建议 来了,看完再决定要不要走弯路。… · 2026/11/19 7:26:40

松原谁能办电工证 电子证书怎么考得快又稳
松原谁能办电工证 电子证书怎么考得快又稳

松原谁能办电工证 电子证书怎么考得快又稳 你缺一张电工证,工作机会全没了。松原谁能办电工证?这个问题,很多刚出校门的年轻人、转行者、甚至想做自由职业的电工,都问过。别再等了, 电子证书… · 2026/11/19 7:26:40

电工证初考学习方法多久拿证才能上岗找工作
电工证初考学习方法多久拿证才能上岗找工作

电工证初考学习方法多久拿证才能上岗找工作 你是不是也正愁着手里没有电工证,连面试都进不去?现在不少工地、工厂、工程队都明确要求必须持证上岗,尤其是像河南这种建筑大省,电工证几乎是进工地的“硬门槛”。很多人问, 电工证初考学习方法… · 2026/11/19 7:26:40

电工证一般多久到期 值不值得考?别被中介忽悠了
电工证一般多久到期 值不值得考?别被中介忽悠了

电工证一般多久到期 值不值得考?别被中介忽悠了 你是不是也遇到过这种情况,想考电工证,但不知道去哪报名,怕被中介坑?其实电工证在很多行业里都挺吃香的, 值不值得考 ,还得看你的职业规划。不过,很多新手第一个问题就是: 电工证一般多久到期… · 2026/11/19 7:26:40

电工证上岗复审保姆级教程:怕考不过白交培训费?一文讲透
电工证上岗复审保姆级教程:怕考不过白交培训费?一文讲透

电工证上岗复审保姆级教程:怕考不过白交培训费?一文讲透 怕考不过白交培训费?电工证上岗复审这事儿真没你想象的那么难,关键是要找对方法。别看网上一堆培训机构说得天花乱坠,其实真正能帮你搞定复审流程、考试技巧和实操培训的,还得靠你自己的“保姆级… · 2026/11/19 7:26:40

建筑电工证考试资格怎么考?上岗必备的报名指南来了
建筑电工证考试资格怎么考?上岗必备的报名指南来了

建筑电工证考试资格怎么考?上岗必备的报名指南来了 你是不是也这样, 不知道去哪报名怕被中介坑 ?看到网上一堆培训机构宣传,自己却不知道哪家靠谱,怕交了钱拿不到证,或者考不过被坑?特别是像建筑电工证这样的 上岗必备… · 2026/11/19 7:25:40

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/18 8:19:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/18 8:19:53

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/18 14:38:14

姑苏区哪里考电工证好考前押题怎么找
姑苏区哪里考电工证好考前押题怎么找

姑苏区哪里考电工证好考前押题怎么找 工地太忙根本没时间复习考试,电工证考前还总找不到靠谱的 考前押题 资源,真让人头疼。如果你也是在苏州姑苏区从事建筑或电力行业的,那这些建议你一定要看完。 为什么姑苏区考电工证的人这么多?… · 2026/11/19 0:00:12

罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南
罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南

罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南 之前考的证在外省能不能转过来?这几乎是每个特种作业证书持有者都会遇到的问题,特别是像你这样已经在外地工作多年,想回老家罗定发展或者重新规划职业路径的人。别急,今天就给你一条清晰的路… · 2026/11/19 0:00:12

罗定能考电工证吗 电工证含金量到底有多少?
罗定能考电工证吗 电工证含金量到底有多少?

罗定能考电工证吗 电工证含金量到底有多少? 之前考的证在外省能不能转过来,这几乎是每个准备考电工证的朋友最先想到的问题。特别是在罗定这样的地方,很多人的电工证都是在外地考的,现在想在当地继续使用,但不知道怎么办。实际上,电工证的 含金量… · 2026/11/19 0:00:12

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 6:33:25

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 6:33:32

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 0:22:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码