python爬虫中pyppeteer是什么?
Pyppetter就是类似于在谷歌浏览器中执行动作的时候,进行的网页渲染,就是依赖在Chromium浏览器中执行的,不需要繁琐的环境配置,就可以支持各种异步操作,能够大大提高我们的工作效率,因此也经常被用来做各种爬虫类型执行,好啦,下面一起来详细了解下使用问题吧。
安装:
pip3 install pyppeteer
命令测试:
>>> import pyppeteer
Pyppeteer抓取页面:
import asyncio from pyppeteer import launch from pyquery import PyQuery as pq async def main(): browser = await launch() page = await browser.newPage() await page.goto('http://quotes.toscrape.com/js/') doc = pq(await page.content()) print('Quotes:', doc('.quote').length) await browser.close() asyncio.get_event_loop().run_until_complete(main())
运行结果:
Quotes: 10
好啦,以上就是pyppeteer的基本以及实例用法了,多多浏览上述信息,希望可以帮助大家学习。
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试