python爬虫框架feapder是什么

1,116次阅读
没有评论

python爬虫框架feapder是什么

1、概念

feapder是一个简单、快速、轻量级的爬虫框架。名字来源于fast,easy,air,pro,spider的缩写,以开发快,抓取快,使用简单,功能强大为宗旨,历时4年倾心打造。支援轻爬虫,分布爬虫,批次爬虫,爬虫整合,以及完善的爬虫报警机制。

2、内置爬虫

AirSpider

轻型爬虫,适用于场景简单,数据量少的爬虫。

Spider

分布式爬虫,以Redis为基础,适合海量数据,并支持断点续爬,自动数据入库等功能。

BatchSpider

分布式批次爬虫,主要用于需要定期收集的爬虫。

3、安装,配置相关的库

# 安装依赖库
pip3 install feapder
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-04-24发表,共计280字。
新手QQ群:570568346,欢迎进群讨论 Python51学习