1.使用selenium爬取唯品会相关数据importrandomfromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium.common.exceptionsimportNoSuchElementExceptionimportrandomimportpymongoimporttimeclassWph_shopping:def__init__(self):self.cookie{cookie: vip_first_visitor:1,vip_address:%257B%2522pid%2522%253A%2522105102%2522%252C%2522cid%2522%253A%2522105102102%2522%252C%2522pname%2522%253A%2522%255Cu8d35%255Cu5dde%255Cu7701%2522%252C%2522cname%2522%253A%2522%255Cu516d%255Cu76d8%255Cu6c34%255Cu5e02%2522%257D,vip_province:105102,vip_province_name:%E8%B4%B5%E5%B7%9E%E7%9C%81,vip_city_name:%E5%85%AD%E7%9B%98%E6%B0%B4%E5%B8%82,vip_city_code:105102102,vip_wh:VIP_CD,vip_ipver:31,mars_cid:1789807019466_c13216fd06575620f094b472c89d398e,mars_sid:e4d070bd42dd676ecb1b1962256f5222,mst_area_code:104104,mars_pid:0,visit_id:567B6DB8268305C5110FF6DD9508F77F,vipshop_passport_src:https%3A%2F%2Fwww.vip.com%2F%26st_name%3Dmst_tfs_punish_login,_jzqco:%7C%7C%7C%7C%7C1.1864491312.1789807026631.1789807026631.1789807026631.1789807026631.1789807026631.0.0.0.1.1,vip_sec_fp_vvid:MWZjZmM5ZDEtMDIzMS00MGEzLTllMTMtOTE2ODg1Zjk5Mzg1MTc4OTgwNzAyNjgyOECKgFw,v_s_fp_switch:1,PASSPORT_ACCESS_TOKEN:C72C7DBF25DDFD0E67CB23AA99042F01B9BD51A3,VipRUID:293126899,VipUID:4c44c970ee7ed3dcc8c47e7d3fdb82a8,VipRNAME:187*****047,VipLID:0%7C1789807057%7C2ba69b,VipDegree:E1,user_class:b,vip_sec_fp_vid:293126899,pc_fdc_area_id:105102102,pc_fdc_source_ip:1,is_default_area:1,VipUINFO:luc%3Ab%7Csuc%3Ab%7Cbct%3Ac_new%7Chct%3Ac_new%7Cbdts%3A0%7Cbcts%3A0%7Ckfts%3A0%7Cc10%3A0%7Crcabt%3A0%7Cp2%3A0%7Cp3%3A1%7Cp4%3A0%7Cp5%3A1%7Cul%3A3105,vpc_uinfo:fr249%3AB,vpc_fdc_city_code:105102102:105102102,vpc_common_usp:fr328:3105,fr249:B,fe_global_sync:1,VIP_QR_FIRST:1,vip_tracker_source_from:,sfl_d:0,tfs_c:1,vip_sec_fp_wtk:cwEAAzVqMZ4kYbCT6tFJ3ji6wQNI_1TrMvd8aGgbuWgfnZ6EtL3m7v6ZUvGs0_Lvmh_oKdPlGtqhj22RzI4uxDSb4QuBNC8,pg_session_no:10,tfs_fp_token:cwEAAzVqMZ4kYbCT6tFJ3ji6wQNI_1TrMvd8aGgbuWgfnZ6EtL3m7v6ZUvGs0_Lvmh_oKdPlGtqhj22RzI4uxDSb4QuBNC8,tfs_fp_timestamp:1789807917376,waitlist:%7B%22pollingId%22%3A%22D3E69CB7-63F1-421D-B2A8-6286CC099EC7%22%2C%22pollingStamp%22%3A1789807922082%7D}optionswebdriver.EdgeOptions()# add_argument 添加浏览器自动化参数括号里面的是关闭Chrome自动化受控特征options.add_argument(--disable-blink-featuresAutomationControlled)# 禁用自动化扩展去掉开发者扩展弹框options.add_experimental_option(useAutomationExtension,False)# 去掉开发者警告# 去掉顶部的“Chrome正在接受自动化软件控制”提示options.add_experimental_option(excludeSwitches,[enable-automation])# 不加载图片prefs{profile.managed_default_content_settings.images:2}options.add_experimental_option(prefs,prefs)# 加载浏览器self.driverwebdriver.Edge(optionsoptions)##放大窗口self.driver.maximize_window()self.clientpymongo.MongoClient(hostlocalhost,port27017)self.dbself.client[wph][shop]defopen_page(self):self.driver.get(https://category.vip.com/suggest.php?keyword%E7%AC%94%E8%AE%B0%E6%9C%ACff235%7C12%7C1%7C1)forkey,valueinself.cookie.items():cookie_dirt{name:key,value:value}self.driver.add_cookie(cookie_dirt)# 刷新数据self.driver.refresh()##休眠三秒时间time.sleep(3)##随机休眠时间time.sleep(random.randint(1,3))defpage_down(self):forxinrange(1,10):# js绝对滚动jsfdocument.documentElement.scrollTop{x*1000}self.driver.execute_script(js)time.sleep(random.randint(500,800)/1000)defget_data(self):# 执行滚动self.page_down()# 获取相关的数据div_listself.driver.find_elements(By.XPATH,//section[idJ_searchCatList]/div[classc-goods-item J-goods-item c-goods-item--auto-width])fordivindiv_list:moneydiv.find_element(By.XPATH,.//div[classc-goods-item__sale-price J-goods-item__sale-price]).text titlediv.find_element(By.XPATH,.//div[2]/div[2]).text img_urldiv.find_element(By.XPATH,.//div[classc-goods-item__img]/img)item{title:title,money:money,img_url:img_url.get_attribute(src)}self.save_data(item)print(数据保存成功)# 实现翻页self.next_page()defnext_page(self):try:buttonself.driver.find_element(By.XPATH,//a[idJ_nextPage_link])ifbutton:button.click()self.get_data()else:self.driver.quit()exceptNoSuchElementException:self.driver.quit()self.client.close()print(结束)defsave_data(self,item):self.db.insert_one(item)defmain(self):self.open_page()self.get_data()if__name____main__:wphWph_shopping()wph.main()2.使用platwright爬取考研网相关数据fromplaywright.sync_apiimportsync_playwrightimportpymongoclassKanyan:def__init__(self):self.urlhttps://www.handebook.com/web/#/1234/documentself.clientpymongo.MongoClient(hostlocalhost,port27017)self.dbself.client[kanyan][datas]defget_response(self,page):page.wait_for_selector(//div[classschool-list],statevisible)div_listpage.locator(//div[classcontent-document]).all()fordivindiv_list:item{}item[title]div.locator(//span[1]).inner_text()item[price]div.locator(//span[2]).inner_text()self.db.insert_one(item)print(保存数据成功)self.next_page(page)defnext_page(self,page):page.locator(//button[classbtn-next]).scroll_into_view_if_needed()next_page_buttonpage.locator(//button[classbtn-next])ifnext_page_button:next_page_button.click()self.get_response(page)else:print(没有数据了)defmain(self):withsync_playwright()aspw:driverpw.chromium.launch(headlessFalse)pagedriver.new_page()page.goto(self.url)self.get_response(page)if__name____main__:kanyanKanyan()kanyan.main()3.使用DrisionPage爬取网易社招相关数据.import pymongo from DrissionPage import ChromiumPage from DrissionPage.common import By import pymongo import time dbpymongo.MongoClient(localhost, 27017) clientdb[WXZP][datas] page ChromiumPage() page.listen.start(api/hr163/position/queryPage) page.get(https://hr.163.com/job-list.html?workType1langzh) time.sleep(5) for item in page.listen.steps(count10): datasitem.response.body[data][list][0] client.insert_one(datas) # for data in datas: # print(data[name]) print(datas) flex_next_button page.wait.eles_loaded(( By.XPATH, //*[idp-job-list]/div[2]/div[2]/div/div/ul/li[9]/a ), timeout3) if flex_next_button: page.ele((By.XPATH, //*[idp-job-list]/div[2]/div[2]/div/div/ul/li[last()-1]/a)).click() time.sleep(0.2) else: print(没有数据了) page.quit()
企业数字化 ERP 产品动态
相关推荐
Web自动化测试6-常用方法 元素的常用操作方法方法说明send_keys(*value)输入操作方法，该方法中的参数表示输入的内容text用于获取文本值clear()清空操作方法submit()提交表单操作方法click()单击操作方法get(url)获取操作方法，该方法中的参数URL表示web页面的资源路径save_screen… · 2026/9/26 3:54:58
Namespace 详解 在 Linux 系统中，namespace 是在内核级别以一种抽象的形式来封装系统资源的，通过将系统资源放在不同的 namespace 中，来实现资源隔离的目的。设置了不同 namespace 的程序，就可以享有彼此独立的一份系统资源。Linux 中当前可用的命… · 2026/9/26 3:54:58
STM32 SBUS协议解析：DMA+IDLE中断+状态机三重保障 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 3:54:46
Qwen-Image-Lightning在Mac M系列Metal部署全指南 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 4:47:17
YOLOv5+PyQt5课堂专注度实时检测系统 简介：本资源是一套面向计算机视觉初学者与教育技术开发者的课堂专注度实时检测预警系统实现方案，基于YOLOv5目标检测模型与PyQt5构建跨平台桌面应用，解决在线教学场景中学习者注意力状态自动识别与异常预警的实际需求。压缩包共146个文件&… · 2026/9/26 4:47:17
ax调度实战：从浏览器并发约束到前端请求队列设计与性能优化 我最近在一个数据看板项目里被自己的代码逼到了墙角：页面一打开就要同时请求二十多个图表接口，浏览器直接卡成PPT，接口超时、下拉列表加载不出来，测试同学在群里连着艾特我三次。排查到最后，问题根本不是某一个接口慢&… · 2026/9/26 4:47:17
UE5编译报错：头文件包含顺序导致的Expected First Header问题修复 开篇先给你还原一个非常典型的现场：你在Unreal Engine 5里新建了一个Actor或者Character子类，写好业务逻辑准备编译，结果Build一开始就弹出一行硬邦邦的报错：Expected WarriorDebugHelper.h to be first header included.看到这行… · 2026/9/26 4:47:11
YOLOv5+PyQt5课堂专注度检测系统实战指南 简介：本资源是一套面向计算机视觉初学者与教育技术开发者的课堂专注度实时检测预警系统实现方案，基于YOLOv5目标检测模型与PyQt5构建跨平台桌面应用，解决在线教学场景中学习者注意力状态自动识别与异常预警的实际需求。压缩包共146个文件&… · 2026/9/26 4:47:11
leak-check：基于BFS的SQLite语义级敏感数据聚合查询框架 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 4:47:11
数据库课后习题答案别硬背：当测试用例集刷，效率翻倍 简介：万常选版《数据库原理与设计》课后习题答案资源，覆盖第2至6章及第9章，适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件，含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21
OpenClaw 替代品？Hermes Agent 踩坑实录：macOS 飞书接入 TaoToken 配置 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40
向下兼容与向上兼容：接口设计中的兼容性策略与工程实践 一次版本升级事故，是很多团队绕不过去的坎。线上环境里，服务端明明已经上线了新版接口，老的移动端还在照着旧文档传参数。请求一到网关，校验直接拒绝，用户操作失败，客服群炸了锅，开发群里开始互… · 2026/9/26 0:00:46
