Scrapy允许使用中间件干预数据的抓取过程,以及完成其他数据处理工作。其中一类非常重要的中间件就是下载器中间件。下载器中间件可以对数据的下载和处理过程进行拦截。在Scrapy爬虫中,数据下载和处理分下面两步完成。
1. 核心方法
下载器中间件可以对这两步进行拦截。当爬虫向服务端发送请求之前,会通过下载器中间件类的process_request方法进行拦截,当爬虫处理服务端响应数据之前,会通过下载器中间件类的process_response方法进行拦截。
除了这两个方法外
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试