对初学爬虫的人来说，在对爬虫不是很了解的情况下，除了使用第三方库，也可以借助框架来实现简单的爬虫。今天我们就来讲讲python中的爬虫，对于它们各自的作用进行简单的介绍。

1、PySpider

支持多数据库后端的分布式架构，强大的WebUI支持脚本编辑器，任务监控器，项目管理器和结果查看器。可以使用任意html解析包控制python脚本。

2、Scrapy

Scrapy是获取站点数据、提取结构性数据而制作的应用框架。可应用于数据挖掘、信息处理、历史数据存储等一系列程序。但是，扩展性比较差。

3、Crawley

对相应网站进行高速爬行，支持关系数据库和非关系数据库，可将数据导出为JSON、XML等。

4、newspaper

可用于抽取新闻，文章和内容分析。支持超过10种语言的多线程技术等。本文作者的灵感来自于requests库的简洁和强大功能，使用python开发的程序提取文章内容。超过10种语言受支持，全部采用unicode编码。

以上就是python爬虫框架的介绍，相信大家在之前的学习中，就已经接触过其中的几种框架了。如果爬虫想要去采集大量的数据，会需要HTTP代理IP的配合。希望本篇内容对大家有所帮助。