1、概念
feapder是一个简单、快速、轻量级的爬虫框架。名字来源于fast,easy,air,pro,spider的缩写,以开发快,抓取快,使用简单,功能强大为宗旨,历时4年倾心打造。支援轻爬虫,分布爬虫,批次爬虫,爬虫整合,以及完善的爬虫报警机制。
2、内置爬虫
AirSpider
轻型爬虫,适用于场景简单,数据量少的爬虫。
Spider
分布式爬虫,以Redis为基础,适合海量数据,并支持断点续爬,自动数据入库等功能。
BatchSpider
分布式批次爬虫,主要用于需要定期收集的爬虫。
3、安装,配置相关的库
# 安装依赖库 pip3 install feapder
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试