python爬虫中,如果想要需要并发http请求,一般都是使用requests。但是requests 是同步的库,如果想异步的话需要引入 aiohttp。aiohttp是一个基于asyncio实现的HTTP框架,可是实现异步请求,本文介绍Python3爬虫利器aiohttp的安装过程。
1、什么是aiohttp?
asyncio可以实现单线程并发IO操作,是Python中常用的异步处理模块。
aiohttp是一个基于asyncio实现的HTTP框架,它可以帮助我们异步地实现HTTP请求,从而使得我们的程序效率大大提高。
2、相关链接
官方文档:http://aiohttp.readthedocs.io/en/stable
GitHub:https://github.com/aio-libs/aiohttp
PyPI:https://pypi.python.org/pypi/aiohttp
3、pip安装
pip install aiohttp[speedups]
4、验证安装
安装完成之后,可以在Python命令行下测试:
C:\Users\inwsy>python Python 3.7.4 (tags/v3.7.4:e09359112e, Jul 8 2019, 20:34:20) [MSC v.1916 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. >>> import aiohttp
没报错就安装成功。
以上就是Python3爬虫利器aiohttp的安装介绍,希能对你有所帮助哟~ 。
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试