首页/新闻资讯/正文详情

selenium webdriver 开启网页失败,被发现为爬虫,的解决办法

发布时间:2026/9/25 2:08:56 来源:云帆数科 栏目:资讯中心
selenium webdriver 开启网页失败,被发现为爬虫,的解决办法
1换用火狐浏览器2隐藏谷歌浏览器中的特殊变量值from selenium import webdriver options webdriver.ChromeOptions() # -- 防止被检测旧版本用法1 # chrome在79版之前用这个 options.add_experimental_option(excludeSwitches, [enable-automation]) options.add_experimental_option(useAutomationExtension, False) driver webdriver.Chrome(optionsoptions) # -- 防止被检测新版本用法2 # chrome在79和79版之后用这个 driver.execute_cdp_cmd(Page.addScriptToEvaluateOnNewDocument, { source: Object.defineProperty(navigator, webdriver, { get: () undefined }) }) driver.get(http://www.xxx.com/) time.sleep(60) driver.close() driver.quit()3更换工具使用新秀DrissionPageDrissionPage不需要driver驱动文件虽然只支持谷歌内核浏览器。既方便抗检测也更强值得试试。4更换工具使用新秀PlaywrightPlaywright和DrissionPage差不多都是2020年开始的新项目都不需要driver。Playwright另外可以支持火狐和WebKitSafari网站检测selenium的原理是1selenium在开启后的浏览器加了一些变量值如window.navigator.webdriver 等等。2像window.navigator.webdriver在正常的谷歌浏览器是undefined在selenium打开的谷歌浏览器是true。网站就下发js代码检测这个变量值给网站网站判断这个值为true就是爬虫程序就封杀。变量值一般不止这一个。不同的浏览器驱动不同像火狐浏览器控制台输入window.navigator.webdriver虽然还是true但不会被检测出来。

相关推荐

计算机设计大赛人工智能挑战赛国奖源码包:从环境配置到模型融合的完整复现指南
计算机设计大赛人工智能挑战赛国奖源码包:从环境配置到模型融合的完整复现指南

简介:这份资源是中国计算机设计大赛人工智能挑战赛国家二等奖的完整备赛资料包,面向参加计算机设计大赛、人工智能类竞赛的高校学生及指导教师,尤其适合需要参考获奖方案、快速搭建视觉检测项目的备赛者。包内共55个文件,以Python… · 2026/9/25 2:08:56

桌面应用开发技术专题 篇三:应用组件化(DLL/SO)架构
桌面应用开发技术专题 篇三:应用组件化(DLL/SO)架构

文章目录 系列文章 SO/DLL动态库的跨平台本质与加载机制 平台差异是不可规避的物理事实 Qt QLibrary:跨平台调用标准SO/DLL的统一抽象 C++领域无通用跨平台动态库标准 企业级SO/DLL动态库的核心诉求与技术约束 核心业务诉求 开源合规硬性要求 各架构方案选型对比 SO/DLL动态库… · 2026/9/25 2:08:56

SSE笔记、SSE流式生成
SSE笔记、SSE流式生成

文章目录SSESSE和websocket的对比如何测试?流式生成有很多应用场景,例如聊天、游戏、ai打字机效果等。实现方式也不只一种,如SSE、websocket等。SSE SSE(server-send events)(服务器发送事件)。 机制: 并没有那么复杂,基于http… · 2026/9/25 2:08:56

银河麒麟与Windows双系统启动顺序深度解析
银河麒麟与Windows双系统启动顺序深度解析

1. 项目概述:为什么改启动顺序不是“点几下鼠标”的事你装好了银河麒麟V10和Windows 11双系统,开机却总先进入Windows——不是你按错了键,是GRUB菜单压根没弹出来;或者GRUB倒是出来了,但麒麟排在第三行,Win… · 2026/9/25 3:32:09

NAT10下游基因预测:生物信息学与机器学习全流程解析
NAT10下游基因预测:生物信息学与机器学习全流程解析

简介:一个面向生物信息学与机器学习交叉应用的NAT10下游基因预测项目资源包,适合生信初学者、研究生及关注基因调控机制的研究者参考。资源围绕与NAT10相关的GEO表达数据集展开,完整覆盖数据提取、清洗、标准化,以及基于支持向量机… · 2026/9/25 3:32:09

WinForm与DevExpress控件继承体系解析
WinForm与DevExpress控件继承体系解析

1. WinForm与DevExpress控件继承体系解析在Windows Forms应用程序开发中,DevExpress控件套件因其丰富的UI组件和强大的功能而广受欢迎。但许多开发者在从原生WinForm控件转向DevExpress控件时,经常会遇到一个看似简单却令人困惑的问题:为什么… · 2026/9/25 3:32:09

AI编码代理失控怎么破?用Trellis给代理装上行为辅助轮
AI编码代理失控怎么破?用Trellis给代理装上行为辅助轮

说实话,用AI编码代理写代码这件事,最让我崩溃的不是它"不会",而是它"太会了"。让它改个接口,它能顺手把整个模块的注释风格全改了;让它加一行日志,它能自作主张重构一个看似无关的函数… · 2026/9/25 3:32:09

使用 AWS SDK for JavaScript (v3) 开发 Amazon SES:身份验证、发信、模板与收件规则完整实战指南
使用 AWS SDK for JavaScript (v3) 开发 Amazon SES:身份验证、发信、模板与收件规则完整实战指南

示例工程教程后端 【免费下载链接】aws-doc-sdk-examples Welcome to the AWS Code Examples Repository. This repo contains code examples used in the AWS documentation, AWS SDK Developer Guides, and more. For more information, see the Readme.md file below. 项目地… · 2026/9/25 3:32:09

html-anything 竞品拆解技能实战:把竞品资料转成产品决策报告 —— 以 AI 会议助手市场为例
html-anything 竞品拆解技能实战:把竞品资料转成产品决策报告 —— 以 AI 会议助手市场为例

AI 应用人工智能AI AgentAI 写作媒体生成 【免费下载链接】html-anything ✨ The agentic HTML editor — your local AI agent writes the HTML, you ship it. 🚀 75 Skills 9 Surfaces (magazine deck poster XHS / tweet prototype data report Hyperfram… · 2026/9/25 3:32:03

数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)
数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战
创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX
MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:37

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码