首页/新闻资讯/正文详情

python爬虫(02)

发布时间:2026/9/27 6:06:56 来源:云帆数科 栏目:资讯中心
python爬虫(02)
爬虫的基础在上期我们成功的安装了相关的python环境折起我们来讲解爬虫从讲解到反爬讲解cookieUA等好了废话不多说我们开始吧在上期我们成功运行一下测试代码你已经超越很多人了import requests r requests.get(https://example.com) # 请求代码网站可以自行更换 print(r.status_code) # 输出状态码 print(r.text) # 输出网页源码我上期讲过.status_code200的时候证明爬虫与服务器之间的通信是正常的但是当我们拿这个请求去请求像百度这样没有robot.txt管理很松的网站是可以的但是当我们请求一些常规的网站会直接返回403这是因为你又很多参数没加被服务器识别成了爬虫那么又没有方法可以完成这样拿到请求呢。爬虫的进阶请求头请求头(User-Agent)一般里面包含有Referercookie主要是这俩个还有其他我们在就见到会说聪明的你灵机一动把浏览器的f12(开发者模式)打开了在里面找到了user-agent把user-agent加里面了这时候请变了成了import requests headers{Usre-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64)} #这是请求头 r requests.get(https://example.com,headersheaders) # 请求代码网站可以自行更换 print(r.status_code) # 输出状态码 print(r.text) # 输出网页源码这时候聪明的你发现又可以请求了,兴致冲冲的你像一个里面有文章的页面发送请求但是又返回403(我滴乖乖,怎么回事)怎么访问不了了聪明的你又把我的博客往下扒了扒防盗链防盗链(Referer)顾名思义是常见的一种反爬手段一般常见是厂商为了防止Spider来的但是没啥大用但是很重要的一个设置那怎么获取呢在刚刚的f12下滑里找到Referer把它复制下来之后粘贴到headers里代码如下import requests headers{Usre-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64), Referer : 你的防盗链 }#这是请求头 r requests.get(https://example.com,headersheaders) # 请求代码网站可以自行更换 print(r.status_code) # 输出状态码 print(r.text) # 输出网页源码这时候你再次兴致冲冲的去请求网页但是现实在次给你当头一棒依旧403依旧拿不下来这时候聪明的你在次在网页的f12往下扒了扒发现有一个叫cookie(曲奇)的一个东西曲奇曲奇(cookie)是一种检测Spider的一种手段之一一般由后端生成比较复杂原理如下正常浏览器请求A → 服务器种 Cookie → 浏览器保存 → 请求B 带上 Cookie → 通过 ✅Spider不带 Cookie请求A → 服务器种 Cookie → 没保存/没带回 → 请求B 没 Cookie → 拦截 ❌当你的爬虫不能爬取的时候一般是这个原因导致的但聪明的你把cookie复制下来添加进headers里代码如下import requests # 2. 设置请求头 headers { User-Agent: ( Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 ), # 防盗链 Referer告诉服务器我是从你的页面跳过来的 Referer: https://www.example.com/, # Cookie携带登录状态或追踪标识 Cookie: session_idabc123; tokenxyz789; uid10001, } # 3. 发送请求 url https://www.example.com/page resp requests.get(url, headersheaders) # 4. 检查结果 print(f状态码: {resp.status_code})这样你就可以爬取到网页了

相关推荐

ipad电容笔哪款最好用性价比最高?公认体验最优的平替电容笔推荐
ipad电容笔哪款最好用性价比最高?公认体验最优的平替电容笔推荐

​作为一个使用电容笔长达数年的UI设计师,我敢说十个买电容笔的人里八个都踩过坑!因为早期的我也是如此,要么被高颜值、送一堆配件吸引下单,要么被全网最低价平替的噱头忽悠,买回来才发现写起来卡顿、误触频繁&#xf… · 2026/9/27 6:06:56

yahoo网站提交到底多少钱?3步搞定不花冤枉钱
yahoo网站提交到底多少钱?3步搞定不花冤枉钱

yahoo网站提交到底多少钱?3步搞定不花冤枉钱 备案流程一头雾水,盯着后台那些条款看了三遍还是没搞懂,最让人头疼的是,到底要花多少钱才能把站推上去?很多刚入行的后端开发者或者独立站长,在Yahoo搜索推广这块容易踩坑。你以为注册个账号就能… · 2026/9/27 6:06:44

嵌入式偶发故障排查三把硬尺子:串口、蓝牙、烧录现场诊断法
嵌入式偶发故障排查三把硬尺子:串口、蓝牙、烧录现场诊断法

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 6:06:38

Type-C线缆E-Mark芯片详解:从PD协议到选型调试实战
Type-C线缆E-Mark芯片详解:从PD协议到选型调试实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 6:43:03

ScanNet数据集下载指南:从申请到脚本实战
ScanNet数据集下载指南:从申请到脚本实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 6:42:57

Jlink读MCU固件全流程:从SWD连接到Flash读取的实战指南
Jlink读MCU固件全流程:从SWD连接到Flash读取的实战指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 6:42:57

笔记本EC芯片揭秘:从键盘矩阵到电源管理的嵌入式控制器
笔记本EC芯片揭秘:从键盘矩阵到电源管理的嵌入式控制器

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 6:42:57

wordpress修改文章字体大小别乱改,3个关键步骤与注意事项全解析
wordpress修改文章字体大小别乱改,3个关键步骤与注意事项全解析

wordpress修改文章字体大小别乱改,3个关键步骤与注意事项全解析 模板网站太丑,不够用,这是很多站长和开发者最真实的痛点。想改个字体大小,结果改完页面全乱,甚至SEO权重掉了一地。其实, wordpress修改文章字体大小… · 2026/9/27 6:42:51

LIN Slave一致性测试实战:CANoe自动化测试环境搭建与避坑指南
LIN Slave一致性测试实战:CANoe自动化测试环境搭建与避坑指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 6:42:33

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码