# 需求：获取豆瓣电影中动态加载出更多电影详情数据 # 思路：喜剧排行榜，ajax请求，20条，页面滚动加载 # # 浏览器打开网址–模拟浏览器滚动–怎么滚动页面？执行js代码。怎么抓取？不用重新发请求 from selenium import webdriver as wd from time import sleep

bro = wd.PhantomJS(executable_path='./phantomjs-2.1.1-windows/bin/phantomjs') bro.get('https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90&action=') # 浏览器滚动到底部 js='window.scrollTo(0,document.body.scrollHeight)'

# 如何让浏览器对象执行js代码 bro.execute_script(js)

sleep(5) bro.save_screenshot('./5.png')

# 获取加载数据后的页面: page_source获取浏览器当前数据 page_text = bro.page_source

# 解析数据