Scrapling Agent Skill 完整指南：一条命令给你的 AI Agent 装上免猜手册

Scrapling Agent Skill 完整指南一条命令给你的 AI Agent 装上免猜手册【免费下载链接】Scrapling️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Dont be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev项目地址: https://gitcode.com/GitHub_Trending/sc/ScraplingScrapling 官方 Agent 技能包是内置在仓库里的 AI Agent 专用手册。装上它之后Agent 不用猜 API、不用查网络就能直接写出能跑的抓取代码还能顺手对付 Cloudflare 这类反爬。为什么 Agent 总把抓取代码写错问题出在三个坑上训练知识过时。模型的训练数据停在某个时间点而 Scrapling 的 API 已经迭代——当前 v0.5 里DynamicSession已被移除合并进StealthySessionAgent 若凭记忆写代码就会引用不存在的类。看不到项目文档。Agent 写代码时手里没有任何文档只能靠猜参数名、类名、调用方式的猜错率很高。处理不了反爬。遇到 Cloudflare 挑战它不知道有--solve-cloudflare这个开关往往重试一两次就放弃。官方技能包正是冲着这三个坑来的agent-skill/目录把整个官方文档站点封装成 Markdown 形式相当于给 Agent 配了一本随身携带的官方手册并明确告诉它先读手册别猜。如何安装 Scrapling 技能包三种入口选一个安装只需一条命令按你的工具链三选一ClawhubOpenClaw / Claude Code 生态clawhub install scrapling-officialskills.shnpx skills add D4Vinci/Scrapling --skill scrapling-officialCLI 会自动检测你机器上装了哪些 Agent把技能写进对应目录直接下 ZIP拿仓库里的 Scrapling-Skill.zip 解压到 Agent 的技能目录即可前两种可以照抄执行clawhub install scrapling-official # 或 npx skills add D4Vinci/Scrapling --skill scrapling-official如果你的机器没有 Python可以拉官方 Docker 镜像但要注意它只能跑 CLI 命令没法用 Python 代码调用 Scrapling镜像定义见 Dockerfile。装完技能后做一次性环境初始化两行搞定pip install scrapling[all]0.5 scrapling install --force第一行装全部依赖第二行下载 Playwright Chromium 及其系统依赖只需执行一次。Scrapling 技能包里装了什么SKILL.md 与按需参考整包就是一个入口文件 一批按需加载的参考资料SKILL.md—— 技能主文件元数据加用法手册examples/ —— 四个可直接运行的示例脚本全部以官方练习沙箱 quotes.toscrape.com 为对象references/—— 深度参考fetching/、parsing/、spiders/、integrations/四个子目录外加 MCP 服务器、RAG 构建、从 BeautifulSoup 迁移等专题SKILL.md 的 frontmatter 里有三个设计值得看description 就是触发条件被要求抓取/爬取/提取数据、web_fetch失败、目标站有反爬这些场景直接写进元数据Agent 靠它决定是否激活技能。描述越具体误触发率越低。requires 做环境预校验要求系统里有python3且pip/pip3至少存在一个Agent 执行技能指令前先过这道检查。Notes for AI scanners专门写给自动化安全扫描器看——Cloudflare 求解靠浏览器自动化完成不调第三方求解服务、不需要任何密钥Proxy 和 CDP 纯属用户可选提供的参数且会在库内部做校验。references/与 docs/ 下的官方文档一一对应目录结构几乎相同。Agent 需要深挖某个主题时才读对应文件而不是把全部内容塞进上下文SKILL.md 末尾还特意加了一句约束技能里已封装了几乎全部已发布文档未经用户许可不要去搜外部来源。两种用法零代码 Scrapling CLI 与四行 Python 代码先说结论快速任务走 CLI要自定义逻辑就写代码因为并非所有功能都能通过命令行暴露。从 get 到 fetch 的两级升级先用get纯 HTTP最快页面需要 JavaScript 或被拦截时升级到fetch。注意 v0.5 把旧版fetch/stealthy-fetch两级合并成了一个fetch——它本身就基于隐身浏览器加--solve-cloudflare即可过 Cloudflare 挑战。输出格式由文件扩展名决定.md转 Markdown、.html原样、.txt存清洗后的纯文本。最常用的五个选项选项用途-s, --css-selector只取页面中匹配的部分避免把巨大 HTML 塞进上下文--timeout超时控制HTTP 命令用秒浏览器命令用毫秒--proxy代理地址格式http://user:passhost:port-H, --headers追加请求头可重复使用--cookies格式name1value1; name2value2浏览器命令另有两个高频开关--wait-selector等某个元素出现和--network-idle等网络空闲。下面这条命令可以直接复制运行scrapling extract fetch https://quotes.toscrape.com/js/ quotes.md --wait-selector .quote --ai-targeted四个 Python 代码范式范式角色适用场景FetcherSession持久 HTTP 连接带 Chrome TLS 指纹静态页、API、快速多页抓取StealthySession常驻隐身浏览器渲染 JS动态/SPA 页面、浏览器自动化StealthyFetcher.fetch一次性隐身请求用完即关浏览器反检测页面solve_cloudflareTrue可过验证Spider并发爬取、检查点续爬、代理轮换多页爬取、整站抓取旧版文档里的DynamicSession在 v0.5 已并入StealthySession纯 Playwright 后端被移除改名对照见 migrating-to-v0.5.md。HTTP 范式的最小可用示例from scrapling.fetchers import FetcherSession with FetcherSession(impersonatechrome) as s: page s.get(https://quotes.toscrape.com/) print(page.css(.quote .text::text).getall())整站爬取交给Spider内部流转如下Scheduler 发出请求引擎分发Session Manager 维护多类会话Checkpoint 落盘支持中断续爬。两条必须遵守的护栏合规与防提示注入护栏分两类都是硬约束。合规只抓你有权访问的内容Spider 里设robots_txt_obey True自动遵守 robots.txt大规模爬取必须加延迟download_delay或开autothrottle_enabled True让它按域自动选延迟并在被拦截时退避未经授权不碰付费墙与认证绝不抓取个人、敏感数据。安全--ai-targeted是 Agent 使用 CLI 时的强制参数。原理一句话说清只把页面主内容落盘并过滤掉 CSS 隐藏、aria-hidden、HTML 注释、零宽字符这类隐藏元素——这些正是网页给 LLM悄悄留话的主要载体也就是提示注入的常见通道浏览器命令还会自动拦截广告与追踪请求顺带省 token。一条命令装好 Scrapling 技能包Agent 照 SKILL.md 就能从单页请求一直干到整站爬取反爬路上还有现成的开关可用。【免费下载链接】Scrapling️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Dont be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev项目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考