selenium入门——爬动态网站

447次阅读
没有评论

一、安装webdriver:

selenium入门——爬动态网站

下载:

http://chromedriver.storage.googleapis.com/index.html 

将下载的chromedriver.exe驱动直接复制到python环境的scripts目录中

selenium入门——爬动态网站

 尝试用selenium打开csdn:

from selenium import webdriver #1. 获取浏览器对象 # webdriver.Chrome(executable_path='executable_path = 'D:\pythonProject\\venv\Scripts\chromedriver.exe'')#没有导入驱动,就以相对路径的方式引入 browser = webdriver.Chrome()#将驱动导入到了scripts目录中 #2. 请求url url = "https://www.csdn.net/" #3. 窗口最大化 browser.maximize_window() browser.get(url)

selenium入门——爬动态网站

 

 2.查找内容模拟操作点击:

from selenium import webdriver #1. 获取浏览器对象 # webdriver.Chrome(executable_path='executable_path = 'D:\pythonProject\\venv\Scripts\chromedriver.exe'')#没有导入驱动,就以相对路径的方式引入 browser = webdriver.Chrome()#将驱动导入到了scripts目录中 #2. 请求url url = "https://www.csdn.net/" #3. 窗口最大化 browser.maximize_window() browser.get(url) # send_keys:输入框内容 browser.find_element_by_css_selector("#toolbar-search-input").send_keys("爬虫真好玩") # click:点击事件 browser.find_element_by_css_selector("#toolbar-search-button").click() # clear:清空输入框内容 browser.find_element_by_css_selector("#toolbar-search-input").clear()

selenium入门——爬动态网站

3.爬取文章题目:

import time from selenium import webdriver import scrapy #1. 获取浏览器对象 # webdriver.Chrome(executable_path='executable_path = 'D:\pythonProject\\venv\Scripts\chromedriver.exe'')#没有导入驱动,就以相对路径的方式引入 browser = webdriver.Chrome()#将驱动导入到了scripts目录中 #2. 请求url url = "https://www.csdn.net/" #3. 窗口最大化 browser.maximize_window() browser.get(url) # send_keys:输入框内容 browser.find_element_by_css_selector("#toolbar-search-input").send_keys("爬虫真好玩") # click:点击事件 browser.find_element_by_css_selector("#toolbar-search-button").click() # clear:清空输入框内容 browser.find_element_by_css_selector("#toolbar-search-input").clear() browser.switch_to_window(browser.window_handles[1]) time.sleep(5) li_list=[] li_list = browser.find_elements_by_xpath('//div[@class="so-items-normal"]/div[1]') #print(li_list[0].text) for i in li_list: print(i.text)

selenium入门——爬动态网站

 

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-28发表,共计1835字。
新手QQ群:570568346,欢迎进群讨论 Python51学习