Scrapy是一个非常优秀的爬虫框架，通过Scrapy框架，可以非常轻松地实现强大的爬虫系统，程序员只需要将精力放在抓取规则以及如何处理抓取的数据上，至于一些外围的工作，例如，抓取页面，保存数据、任务调度、分布式等，直接交给Scrapy就可以了。
1. Scrapy简介
Scrapy主要包括如下几个部分。
- Scrapy Engine（Scrapy引擎）：用来处理整个系统的数据流，触发各种事件。
- Scheduler（调度器）：从Url队列中取出一个Url。
- Downloader（下载器）：从Internet上下载Web资源。
- Spiders（网络爬虫）：接收下载器下载的原
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试
