首页/新闻资讯/正文详情

clone到一半被中断?kage断点续爬机制揭秘:state.json如何记住每一页

发布时间:2026/9/26 23:47:57 来源:云帆数科 栏目:资讯中心
clone到一半被中断?kage断点续爬机制揭秘:state.json如何记住每一页
clone到一半被中断kage断点续爬机制揭秘state.json如何记住每一页【免费下载链接】kageShadow any website for offline viewing, with the JavaScript stripped out项目地址: https://gitcode.com/gh_mirrors/kage6/kagekage 是一个能把网站完整克隆到本地、并剥离所有 JavaScript 的离线镜像工具。当kage clone爬取大型站点时Ctrl-C、断电、断网都可能让任务中途夭折——kage 内置的断点续爬机制会把这些进度写进state.json下次重跑时自动跳过已完成页面、从未完成处继续一行命令都不用多敲。一、先认识 kage为什么它敢断点续爬 kage 的克隆流程是真实无头 Chrome 渲染页面 → 快照最终 DOM → 剥离全部脚本 → 把 CSS、图片、字体下载到本地路径。每一步都是确定性的同一个 URL 永远映射到同一个本地文件。正是这种URL 到文件的确定性映射让哪些页面已经写完可以精确到每一页。二、state.json 存在哪它记住了什么镜像目录里有一个保留文件夹_kage/里面放着状态文件host/_kage/state.json。它在每次运行时记录两样东西visited已完成集已经成功写盘的所有页面按输出文件路径去重pending待办清单已发现但还没爬完的页面每条都带着 URL 和深度depth因为--max-depth是从种子页算起的续爬时无法重新计算。paulgraham.com/ ├── index.html ├── _kage/ │ ├── paulgraham.com/site.css │ └── state.json # 已完成集 待办清单状态结构定义在 frontier.go{ visited: […], pending: [{ url: …, depth: 2 }] }写入时采用先写临时文件、再原子重命名的方式frontier.go保证即使进程在保存瞬间被杀也不会留下半个损坏的 JSON。三、续爬四步走一次重跑就接上 Ctrl-C 是干净的停止kage 取消进行中的渲染、把状态刷盘、退出。已写好的页面一页不丢终端会提示interrupted; resume state saved (rerun to continue)见 clone.go。重跑时先读状态Run()开头加载state.json打印resume: 137 pages already done待办清单重新入队requeueUnfinished 把上次的 pending 逐条放回队列打印resume: picking up 412 pages已完成的自动跳过去重判断 isVisited 让重复 URL 不再入队直到队列为空。默认就开启不需要任何额外参数kage clone example.com # 中断后原样再跑一次即可四、失败页面会自动补爬预算也能分批花 失败即记忆渲染超时、瞬时 5xx 的页面不会被标记为完成而是留在 frontier 里——下次重跑自动重试网络抖动造成的缺口再跑一轮就补齐了。但被robots.txt拒绝的页面会标记为 done避免反复空转逻辑见 frontier.go。用--max-pages先试水页面预算是每次运行的额度被压住的页面同样留在待办清单里。先-p 20看看前 20 页效果满意后不限额重跑剩下的自然接上。想彻底重来--force会先删除整个$HOME/data/kage/host/再爬--no-resume则完全不读写状态文件做一次性克隆。三个开关的接线在 clone.go。五、离线验收你的镜像长这样 爬完后用kage serve 镜像目录打开本地服务或直接双击 HTML 文件。页面已剥离脚本、引用全部本地化左侧导航、样式与原站几乎一致——而这一切不依赖任何网络完整官方指南见 resuming-a-run.md配置全貌参考 configuration.md。一句话总结state.json 已完成集 待办清单 深度记忆原子写盘、默认开启、失败自动重试——kage 让爬一半中断从事故变成了日常。【免费下载链接】kageShadow any website for offline viewing, with the JavaScript stripped out项目地址: https://gitcode.com/gh_mirrors/kage6/kage创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

Jev老照片修复模型:轻量双路径架构实战指南
Jev老照片修复模型:轻量双路径架构实战指南

1. 项目概述:Jev模型不是新AI,而是照片修复领域的一次精准突围最近朋友圈、技术群、小红书和知乎都在刷“Jev模型”——不是大语言模型,不是多模态对话系统,更不是又一个LLM套壳玩具。它是一个专注老照片修复、低质图像复原、带噪… · 2026/9/26 23:47:56

Context Menu Manager Plus先拦截后审核机制揭秘:可疑的新右键菜单还没出现就被挡下了
Context Menu Manager Plus先拦截后审核机制揭秘:可疑的新右键菜单还没出现就被挡下了

Context Menu Manager Plus先拦截后审核机制揭秘:可疑的新右键菜单还没出现就被挡下了 【免费下载链接】ContextMenuMgr Context Menu Manager Plus 是一个强大的实用程序,它可帮助您管理 Windows 上的右键菜单,并避免第三方向你的右键菜单里… · 2026/9/26 23:47:56

tgrep核心原理:24位Trigram索引如何把候选文件缩小90%以上
tgrep核心原理:24位Trigram索引如何把候选文件缩小90%以上

tgrep核心原理:24位Trigram索引如何把候选文件缩小90%以上 【免费下载链接】tgrep Trigram-indexed grep with a client/server architecture for fast regex search in large codebases locally 项目地址: https://gitcode.com/gh_mirrors/tg/tgrep tgrep 是… · 2026/9/26 23:47:56

2026最新:个人网页包括哪些内容?搞定这6块,流量自己来
2026最新:个人网页包括哪些内容?搞定这6块,流量自己来

2026最新:个人网页包括哪些内容?搞定这6块,流量自己来 网站做好了没人访问,这是很多刚入行或者想自己搞点副业的朋友最头疼的事。别急,这往往不是技术问题,而是内容结构没搭对。到了2026最新的环境,搜索引擎对“个人价值”的识别更精准了,如… · 2026/9/27 0:36:53

3个避坑要点:seo团队管理系统报价全拆解
3个避坑要点:seo团队管理系统报价全拆解

3个避坑要点:seo团队管理系统报价全拆解 备案流程一头雾水,卡在工信部ICP备案系统那一步,项目进度直接停摆?这种场景我见得太多了。很多老板找外包做seo团队管理系统,前期聊得火热,一谈到费用就变脸,要么报价低得离谱,要么后期增项多到让你… · 2026/9/27 0:36:21

wordpress建站百度网盘一文搞懂
wordpress建站百度网盘一文搞懂

5步搞定WordPress建站资源,揭秘真实建站报价单 网站做好了没人访问?这确实是很多老板和开发者踩过的最大坑。我见过太多花大价钱做的精美官网,上线三个月流量还是个位数,根本带不来询盘。这时候大家往往只盯着 建站报价… · 2026/9/27 0:36:02

ASP做登入网站一文搞懂从0到1实战指南
ASP做登入网站一文搞懂从0到1实战指南

ASP做登入网站一文搞懂从0到1实战指南 自己不会代码想做网站,是不是觉得登录模块就是填个框输个密码?别被表象骗了。很多初学者以为 ASP 登录就是写个… · 2026/9/27 0:35:37

wordpress+后门检查常见报错与解决
wordpress+后门检查常见报错与解决

2026最新wordpress后门检查实战:3步揪出隐形木马 网站突然被挂马,首页变成博彩广告,后台密码改不了?别慌,这是很多站长最头疼的噩梦。尤其是使用 WordPress… · 2026/9/27 0:35:25

手机qq插件wordpress怎么装不卡顿?实测3个方案看多少钱
手机qq插件wordpress怎么装不卡顿?实测3个方案看多少钱

手机qq插件wordpress怎么装不卡顿?实测3个方案看多少钱 改个需求建站公司拖一周,这种憋屈事儿谁没遇见过?很多站长朋友为了省事,想着装个“手机QQ插件”就能自动回复、引流或者做点自动化操作,结果一搜发现,要么插件老旧报错,要么被Wo… · 2026/9/27 0:35:06

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码