首页/新闻资讯/正文详情

yichen-skills 内容归档实战:抖音/小红书已知链接的安全抓取与防覆盖策略

发布时间:2026/9/25 12:37:00 来源:云帆数科 栏目:资讯中心
yichen-skills 内容归档实战:抖音/小红书已知链接的安全抓取与防覆盖策略
yichen-skills 内容归档实战抖音/小红书已知链接的安全抓取与防覆盖策略【免费下载链接】yichen-skills项目地址: https://gitcode.com/gh_mirrors/yi/yichen-skills如果你经常需要把抖音、小红书上的标杆内容存到本地yichen-skills开源项目里的内容归档能力值得关注。它通过内置的yichen-content-archive技能帮你安全抓取已知链接并自动防覆盖让归档过程不搜索、不越权、不丢文件。为什么需要已知链接归档做内容创作时我们常想收集一批对标视频和笔记。但很多万能下载工具会顺手搜索关键词、爬取整个账号页既容易触发平台风控也容易把账号状态暴露出去。yichen-content-archive的设计思路完全不同只处理你当轮明确给出的链接。它的入口闸门只接受四类输入——你直接给出的一到多个内容 URL你提供的本地 URL 清单文件上游流程中标记为已确认的候选项你明确指定的精确容器如播放列表、播客清单不满足这些条件时它会直接停下来说明需要什么而不是替你顺便搜一下。这套规则完整定义在 yichen-content-archive/SKILL.md 中。抖音已知链接元数据与下载分开抖音路线由内置执行器 douyin_download.py 负责它有两道关键设计严格校验链接来源脚本只接受https://*.douyin.com的已知视频链接其他域名一律拒绝从源头避免它变成通用爬虫。读取与下载分离加上--metadata-only参数时只读取标题、描述等元数据不下载视频去掉该参数才会真正下载。这样你可以先低成本看一眼再决定是否保存。首次运行时如果缺少 Playwright 浏览器内核脚本会自动完成安装无需手动折腾环境。小红书已知链接匿名优先Cookie 需当轮授权小红书路线由 xiaohongshu_fetch.py 承担策略是匿名优先、逐级放宽默认以匿名方式请求笔记页面优先解析页面内嵌的结构化状态数据失败时再回退到网页 meta 信息加上--skip-media只读 HTML 与元数据去掉该参数才下载笔记中的图片或视频只有当匿名方式失败、且你对当前这条笔记明确授权后才会使用--use-cookie注入登录态——而且 Cookie 不会被读取、打印或保存链接校验同样严格只接受小红书及短链域名的 HTTPS 链接防止误传其他站点。防覆盖策略重跑一万次也不丢文件批量归档最怕的意外是重复执行时把上次抓到的文件悄悄覆盖掉。这个技能把所有执行器都接入了统一的防覆盖机制核心规则只有一句话——目标已存在时创建不冲突的新目录或新文件名绝不静默覆盖。具体来说重复运行同一链接时输出会自动落到xxx-run-2、xxx-run-3这样的新目录里部分执行器如播客路线在恢复下载前还会校验文件大小和 SHA-256 是否一致发现文件被改动就拒绝复用并报错而不是悄悄重写。这套行为并不是口头约定而是有专门的自动化测试保障见 test_overwrite_guards.py各执行器的约束汇总在 executor-safety.md 中每个脚本都有同名小节首次调用前读取即可。归档产物长什么样一次归档完成后输出目录里会自动生成一套证据文件方便你核对结果archive-manifest.jsonl每个输入项一行记录平台、来源、状态、产物路径run-summary.json本次运行的汇总failures.json失败项清单及原因handoff.json标准交接文件说明实际授权范围与后续需要确认的动作批量任务失败时会记录原因并继续处理其余条目低并发、可断点续跑。单条失败不会拖垮整个批次。平台路由速查一分钟选对工具各平台的可用操作与禁止项在 platform-routes.md 中有完整对照表。常用的几行如下平台只读元数据下载归档明确禁止抖音--metadata-only去掉该参数搜索、账号发现小红书--skip-media去掉该参数搜索笔记、收藏扩展微博info匿名读取download单项账号页、热榜、评论普通网页Jina Reader 只读写入新文件无界站点爬取三步上手内容归档准备环境安装 Python 3.9抖音路线需要pip install playwright requests小红书路线只需pip install requests安装技能把yichen-content-archive目录放到你 Agent 的技能目录如~/.agents/skills/保持目录名不变开始归档把已知的抖音或小红书链接直接发给你的 Agent并明确说只读元数据或下载视频动作越具体执行越可控 一个小技巧如果不确定某条链接能不能读先让它走只读元数据模式跑一遍确认无误再执行下载整个过程不会动你的旧文件。边界与合规提醒这个技能刻意保留了大量不做什么不绕过登录墙、验证码和付费内容不把读取推断成下载不自动读取私人收藏也不删除任何文件。敏感 URL 在清单中优先用文件行号引用避免完整链接散落进日志。完整的能力清单和边界说明建议通读一遍 README.md 与 yichen-content-archive/SKILL.md再开始批量作业——花五分钟看清规则能省下之后很多返工。【免费下载链接】yichen-skills项目地址: https://gitcode.com/gh_mirrors/yi/yichen-skills创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

swagger-codegen 中外层枚举(Outer Enum)的生成与使用:以 okhttp4-gson 客户端 EnumClass 为例
swagger-codegen 中外层枚举(Outer Enum)的生成与使用:以 okhttp4-gson 客户端 EnumClass 为例

开发工具代码生成API设计 【免费下载链接】swagger-codegen swagger-codegen contains a template-driven engine to generate documentation, API clients and server stubs in different languages by parsing your OpenAPI / Swagger definition. 项目地址: http… · 2026/9/25 12:36:48

Miller 特殊符号与格式化处理实战:逗号、引号、正则转义与字符编码
Miller 特殊符号与格式化处理实战:逗号、引号、正则转义与字符编码

CLI数据分析 【免费下载链接】miller Miller is like awk, sed, cut, join, and sort for name-indexed data such as CSV, TSV, and tabular JSON 项目地址: https://gitcode.com/gh_mirrors/mi/miller 点击查看 免费下载 本篇指南聚焦 Miller 在处理"特殊符… · 2026/9/25 12:36:42

Comet OJ Contest #9  X Round 3 赛后复盘:用 TaoToken 统一 Key 跑通本地评测脚本
Comet OJ Contest #9 X Round 3 赛后复盘:用 TaoToken 统一 Key 跑通本地评测脚本

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 12:36:29

实时无梯度手部重定向 SBR 算法详解|Smooth Operator 灵巧手遥操作复现指南(TaoToken 配置骨架)
实时无梯度手部重定向 SBR 算法详解|Smooth Operator 灵巧手遥操作复现指南(TaoToken 配置骨架)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 13:04:10

Blume 使用指南:用纯 Markdown 快速构建 AI 就绪的文档站点(TaoToken 配置篇)
Blume 使用指南:用纯 Markdown 快速构建 AI 就绪的文档站点(TaoToken 配置篇)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 13:04:10

昇腾Atlas 300V部署YOLOv5实战:模型转换与推理优化
昇腾Atlas 300V部署YOLOv5实战:模型转换与推理优化

1. Atlas到底是什么?先别急着把它当“显卡”我第一次接触Atlas 300V 24G时,第一反应也是打开它的规格表,试图跟手里的NVIDIA显卡做一一对应。核心数、频率、显存带宽、功耗……对着对着就发现不对劲,这东西压根不是按“显卡”的逻… · 2026/9/25 13:03:51

昇腾Atlas 300V 24G加速卡详解:从硬件定位到YOLO模型完整部署实战
昇腾Atlas 300V 24G加速卡详解:从硬件定位到YOLO模型完整部署实战

前两天有人在群里问:Atlas 300V 24G是运算加速卡吗?买来能直接部署YOLO吗?我愣了一下,因为在昇腾生态里泡久了,会默认人人都知道这玩意的定位。实际上很多刚接触AI加速卡的人,连Atlas和地图集都分不清&… · 2026/9/25 13:03:45

MikroORM Entity Repository:EntityManager 之上的类型安全查询扩展点
MikroORM Entity Repository:EntityManager 之上的类型安全查询扩展点

后端 【免费下载链接】mikro-orm TypeScript ORM for Node.js based on Data Mapper, Unit of Work and Identity Map patterns. Supports MongoDB, MySQL, MariaDB, MS SQL Server, PostgreSQL and SQLite/libSQL databases. 项目地址: https://gitcode.com/gh_mir… · 2026/9/25 13:03:33

IEC61850 协议解读:从 MMS 报文到 GOOSE 订阅的配置骨架与验证动作
IEC61850 协议解读:从 MMS 报文到 GOOSE 订阅的配置骨架与验证动作

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 13:03:27

数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)
数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战
创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX
MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:37

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码