首页/新闻资讯/正文详情

从0到1写爬虫:爬取博客园文章标题+链接,BeautifulSoup解析超详细

发布时间:2026/11/16 9:32:40 来源:云帆数科 栏目:资讯中心
从0到1写爬虫:爬取博客园文章标题+链接,BeautifulSoup解析超详细
摘要本文面向零基础读者以爬取博客园文章列表页的“标题链接”为实战目标手把手带你走完爬虫全流程。重点拆解 BeautifulSoup 的核心API与调试技巧附带DOM结构分析图、完整可运行代码及常见踩坑解决方案。不讲玄学只讲能复用的方法论。一、 为什么选博客园做第一个爬虫项目在CSDN上搜“爬虫入门”示例站点五花八门但很多并不适合新手动态渲染页面如SPA需要Selenium/Playwright门槛过高反爬严格的站点如某宝、某点评容易触发封禁挫败感强结构过于简单的站点学不到东西换个站就不会了博客园是难得的“黄金练习场”优势说明服务端渲染HTML直出requests即可获取完整内容结构规范class命名语义化CSS选择器友好反爬温和合理频率下不会封IP适合反复调试数据有价值真实技术文章爬完可直接用于RSS/知识库核心理念入门阶段的目标不是“爬到多少数据”而是建立“观察→解析→验证”的肌肉记忆。博客园恰好能让这个循环转起来。二、 动手之前先学会“看”网页90%的新手爬虫失败不是因为代码写错而是因为没看清HTML结构就急着写选择器。请务必养成“先审查后编码”的习惯。2.1 浏览器开发者工具使用要点打开博客园首页或任意分类页如https://www.cnblogs.com/按F12打开DevToolsElements面板→ 鼠标悬停文章标题观察其DOM层级Network面板→ 刷新页面确认请求是HTML文档而非JSON APIConsole面板→ 输入document.querySelectorAll(.post-item-title)预验证选择器2.2 博客园文章列表DOM结构分析经过观察博客园文章列表的典型结构如下已简化div.post-listdiv.post-itemh2.post-item-titlea[href] 文章标题文本div.post-item-summarydiv.post-item-footer关键发现每篇文章包裹在div.post-item中标题位于h2.post-item-title a标签内链接地址在a标签的href属性中该结构在首页、分类页、搜索结果页高度一致⚠️注意网站可能随时改版。本文基于2026年7月的页面结构编写若你运行时选择器失效请重新执行上述审查步骤。“会审查”比“记住选择器”重要一万倍。三、 BeautifulSoup核心API速查表BS4的API不多但新手常混淆。下面这张表覆盖了95%的使用场景方法/属性用途返回值典型用法find()查找第一个匹配节点Tag / Nonesoup.find(h2, class_title)find_all()查找所有匹配节点ResultSet (list)soup.find_all(a, hrefTrue)select()CSS选择器查找listsoup.select(div.post-item h2 a)select_one()CSS选择器查找首个Tag / Nonesoup.select_one(.title a).text/.get_text()获取标签内纯文本strtag.get_text(stripTrue)[attr]获取属性值str / Nonetag[href].get(attr, default)安全获取属性str / defaulttag.get(href, )3.1findvsselect如何选择简单条件单标签class/id→ 用find/find_all语义直观复杂层级后代、兄弟、属性组合→ 用select表达力强性能敏感→find略快无需CSS解析器但差异可忽略本文推荐统一使用select/select_one。CSS选择器是可迁移技能换了lxml/parsel也能直接用。四、 完整代码实现逐行精讲4.1 环境准备pipinstallrequests beautifulsoup4 lxmllxml作为BS4的解析后端比内置的html.parser快3-5倍且容错性更好。永远指定解析器避免警告和隐式行为。4.2 完整代码importtimeimportrandomimportrequestsfrombs4importBeautifulSoup# 配置区 TARGET_URLhttps://www.cnblogs.com/HEADERS{User-Agent:(Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36),}OUTPUT_FILEcnblogs_articles.txt# deffetch_html(url:str)-str|None: 安全获取页面HTML 返回None表示请求失败调用方需处理 try:resprequests.get(url,headersHEADERS,timeout10)resp.raise_for_status()# 非2xx状态码抛异常resp.encodingresp.apparent_encoding# 自动检测编码returnresp.textexceptrequests.RequestExceptionase:print(f[ERROR] 请求失败:{url}{e})returnNonedefparse_articles(html:str)-list[dict]: 解析文章标题与链接 核心CSS选择器 防御性取值 soupBeautifulSoup(html,lxml)articles[]# CSS选择器定位所有文章条目中的标题链接linkssoup.select(div.post-item h2.post-item-title a)fortaginlinks:titletag.get_text(stripTrue)# stripTrue去除首尾空白hreftag.get(href,)# 安全取值避免KeyErroriftitleandhref:# 过滤空数据articles.append({title:title,link:href,})returnarticlesdefsave_to_file(articles:list[dict],filepath:str):保存为可读文本格式withopen(filepath,w,encodingutf-8)asf:forartinarticles:f.write(f{art[title]}\n{art[link]}\n{-*60}\n)print(f[OK] 已保存{len(articles)}条记录至{filepath})defmain():print(f 目标:{TARGET_URL})htmlfetch_html(TARGET_URL)ifhtmlisNone:print(❌ 获取页面失败退出)returnarticlesparse_articles(html)print(f 解析到{len(articles)}篇文章)ifarticles:save_to_file(articles,OUTPUT_FILE)else:print(⚠️ 未解析到任何文章请检查页面结构是否变化)if__name____main__:main()4.3 三个容易被忽视的细节①resp.apparent_encoding而非resp.encodingrequests默认的resp.encoding仅根据HTTP头推断博客园有时返回ISO-8859-1导致中文乱码。apparent_encoding通过内容特征检测准确率远高于前者。这一行代码能消灭80%的乱码问题。②get_text(stripTrue)而非.text.strip()两者结果相同但get_text()还支持separator参数如get_text( , stripTrue)将多个子节点文本用空格连接。当标题内含span等嵌套标签时.text可能产生意外拼接。养成用get_text()的习惯未来少踩坑。③ 选择器写在独立函数中parse_articles函数的全部价值就是“把HTML变成结构化数据”。如果明天博客园改了class名你只需修改这一个函数里的选择器字符串fetch_html和save_to_file完全不动。这就是单一职责原则在爬虫中的落地。五、 调试实战选择器找不到元素怎么办这是新手最高频的问题。按以下流程图排查否是否是否是否是select返回空列表打印html[:500]确认内容非空?请求失败或被拦截检查headers/状态码DevTools中同一选择器有结果?选择器写错了重新审查DOM结构requests获取的HTML与浏览器一致?页面依赖JS渲染改用Selenium或找API编码是否正确?打印soup.prettify()检查修正encoding检查是否有iframe/shadow DOM等特殊结构实用调试技巧# 技巧1保存原始HTML到本地离线调试withopen(debug.html,w,encodingutf-8)asf:f.write(html)# 技巧2逐步缩小选择器范围print(soup.select(div.post-item))# 第1步容器是否存在print(soup.select(div.post-item h2))# 第2步h2是否存在print(soup.select(div.post-item h2 a))# 第3步a是否存在# 技巧3打印Tag对象而非仅文本观察完整属性fortaginsoup.select(div.post-item h2 a)[:3]:print(repr(tag))# repr显示完整标签包括隐藏属性黄金法则永远不要假设HTML长什么样永远用实际获取的内容验证选择器。浏览器看到的 ≠ requests拿到的这是两个完全不同的世界。六、 进阶方向从“能用”到“好用”当你跑通基础版本后可以按需叠加以下能力方向技术方案适用场景多页抓取URL分页参数 循环 随机sleep分类页、搜索结果增量去重SQLite/set记录已爬URL定时任务、长期监控异步加速aiohttp asyncio百页以上大规模抓取数据持久化pandas.to_csv / SQLAlchemy后续分析、可视化代理池requests proxies参数高频抓取防封⚠️重要提醒爬取前务必阅读博客园的 robots.txt 和使用条款。控制请求频率建议≥2秒/次仅用于个人学习研究不对服务器造成负担。合规是爬虫工程师的第一素养。七、 总结爬虫入门的正确姿势回顾全文我们实际上只做了一件事把“人眼看到的信息”翻译成“程序能提取的结构”。BeautifulSoup只是翻译工具真正的核心能力是观察力能从混乱的HTML中识别出稳定的数据模式验证习惯每一步都有据可查不靠猜测写代码工程意识代码分层、防御性编程、错误可追溯这三项能力无论你将来用BS4、parsel、lxml还是Scrapy都是通用的。别急着学框架先把一个页面吃透。当你能在10分钟内完成“审查→选择器→验证→提取”的完整闭环时你就已经入门了。参考资料BeautifulSoup官方文档requests编码处理机制详解博客园robots.txt免责声明本文代码仅供学习交流请严格遵守目标网站的使用条款和相关法律法规。作者不对任何因使用本文代码而产生的法律后果负责。如果这篇帮你理清了BS4的使用思路欢迎点赞收藏。遇到选择器问题可以在评论区贴出你的HTML片段和目标数据我会帮你分析。

相关推荐

开源AI编程助手OpenCode的5大核心优势与架构深度解析
开源AI编程助手OpenCode的5大核心优势与架构深度解析

开源AI编程助手OpenCode的5大核心优势与架构深度解析 【免费下载链接】opencode The open source coding agent. 项目地址: https://gitcode.com/GitHub_Trending/openc/opencode OpenCode作为一款开源AI编程助手,通过自然语言驱动的智能代码生成和跨平台集成… · 2026/11/16 4:38:16

N_m3u8DL-CLI-SimpleG:图形化M3U8下载器的终极解决方案
N_m3u8DL-CLI-SimpleG:图形化M3U8下载器的终极解决方案

N_m3u8DL-CLI-SimpleG:图形化M3U8下载器的终极解决方案 【免费下载链接】N_m3u8DL-CLI-SimpleG N_m3u8DL-CLIs simple GUI 项目地址: https://gitcode.com/gh_mirrors/nm3/N_m3u8DL-CLI-SimpleG 还在为复杂的命令行操作而头疼吗?N_m3u8DL-CLI-Sim… · 2026/11/2 0:02:53

排序算法大全:从冒泡到快排,LeetCode排序题高效解法
排序算法大全:从冒泡到快排,LeetCode排序题高效解法

排序算法大全:从冒泡到快排,LeetCode排序题高效解法 【免费下载链接】leetcode python 数据结构与算法 leetcode 算法题与书籍 刷算法全靠套路与总结!Crack LeetCode, not only how, but also why. 项目地址: https://gitcode.com/gh_mirro… · 2026/10/2 15:50:20

齐河去哪考电工证 一文解决全国通用报考难题
齐河去哪考电工证 一文解决全国通用报考难题

齐河去哪考电工证 一文解决全国通用报考难题 不知道去哪报名怕被中介坑?别急,下面我给你整明白齐河去哪考电工证、怎么报名、怎么备考,还有避坑指南, 全国通用 的电工证到底怎么考,看完你就懂了。 齐河电工证报考地点有哪些? 在齐河考电工证,… · 2026/11/16 11:49:36

建筑电工证网上怎么考内部消息全公开!别再交冤枉钱了
建筑电工证网上怎么考内部消息全公开!别再交冤枉钱了

建筑电工证网上怎么考内部消息全公开!别再交冤枉钱了 怕考不过白交培训费?别急,这波 内部消息 你必须知道!现在越来越多的建筑电工从业者开始通过 网上… · 2026/11/16 11:49:36

雷州电工证培训机构多久拿证才能上岗找工作
雷州电工证培训机构多久拿证才能上岗找工作

雷州电工证培训机构多久拿证才能上岗找工作 现在找工作越来越难,尤其是特种作业岗位, 没有电工证根本进不了门 。很多人一听到“特种作业证”就发愁,担心流程复杂、费用高、拿证慢,关键是 多久拿证… · 2026/11/16 11:49:36

电工证复审济南地址:真实经历告诉你外省证能不能转过来
电工证复审济南地址:真实经历告诉你外省证能不能转过来

电工证复审济南地址:真实经历告诉你外省证能不能转过来 之前考的证在外省能不能转过来?这个问题,我见过太多人问。我自己也经历过,三年前在河南考的低压电工证,后来去了济南打工,回来后才知道,证照转移可不是一朝一夕的事儿,尤其像【电工证复审济南地… · 2026/11/16 11:49:36

电工证低压证都考什么官方回应来了!急需特种作业证才能上岗找工作的人别错过
电工证低压证都考什么官方回应来了!急需特种作业证才能上岗找工作的人别错过

电工证低压证都考什么官方回应来了!急需特种作业证才能上岗找工作的人别错过 你是不是也在为找不到工作发愁?是不是因为没有电工证低压证,被用人单位一口回绝?别急, 官方回应… · 2026/11/16 11:49:36

低压电工证属于职称怎么考?电子证书怎么领?别怕考不过白交培训费
低压电工证属于职称怎么考?电子证书怎么领?别怕考不过白交培训费

低压电工证属于职称怎么考?电子证书怎么领?别怕考不过白交培训费 怕考不过白交培训费?别急,先听我说说低压电工证属于职称这事。你可能听说低压电工证是职称,但实际操作中很多人还是搞不清它的定位,到底是职称还是上岗证?这直接影响你考试报名、复审流… · 2026/11/16 11:48:36

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/16 3:21:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/16 3:01:18

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/16 8:30:17

电工证培训的通知在哪考?别再被中介骗了
电工证培训的通知在哪考?别再被中介骗了

电工证培训的通知在哪考?别再被中介骗了 你是不是还在为 电工证培训的通知在哪考 发愁?网上搜了一堆信息,结果要么是挂羊头卖狗肉的培训机构,要么就是打着“包过”旗号的骗子?别急,今天我来给你讲讲, 电工证培训的通知… · 2026/11/16 0:00:34

高级电工证企业认可吗保姆级教程:实操考试心里没底怕挂科?看完这些建议再考不迟
高级电工证企业认可吗保姆级教程:实操考试心里没底怕挂科?看完这些建议再考不迟

高级电工证企业认可吗保姆级教程:实操考试心里没底怕挂科?看完这些建议再考不迟 你是不是也这样,站在高压电工实操考试的设备前,手心冒汗,生怕一个操作失误就被判不合格?实操考试心里没底怕挂科,这是很多准备考高级电工证的人的真实写照。别担心,今天… · 2026/11/16 0:00:34

电工证去哪个部门考核值不值得考 信阳转岗人真实经历分享
电工证去哪个部门考核值不值得考 信阳转岗人真实经历分享

电工证去哪个部门考核值不值得考 信阳转岗人真实经历分享 怕考不过白交培训费?你不是一个人,信阳的李师傅去年刚转岗做电工,就因为没搞清楚电工证去哪个部门考核,差点交了8000块的培训费。别急,下面这份实操考试全攻略,告诉你电工证到底值不值得考… · 2026/11/16 0:00:34

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/15 1:51:20

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/15 4:02:19

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/15 3:02:05

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码