最近我们学了不少爬虫中的新框架，有些类似的框架会让小伙伴们产生疑问，不知道二者的用法是不是看出来的那样相似。就像我们之前提到过的redis框架，和scrapy-redis对比只有前半部分的不同。那么这个scrapy-redis到底是不是一个新的框架呢？小编在这里不做解答，小伙伴们慢慢往下看。

安装：

pip install scrapy-redis

scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：

•  请求对象的持久化
• 去重的持久化
• 实现分布式

scrapy-redis只是替换了redis的几个组件，不是一个新的框架。

scrapy_redis的流程

• 在scrapy_redis中，所有的带抓取的对象和去重的指纹都存在所有的服务器公用的redis中
• 所有的服务器共用一个redis中的request对象
• 所有的request对象存入redis前，都会在同一个redis中进行判断，之前是否已经存入过
• 在默认情况下所有的数据会保存在redis中

看到结尾的小伙伴们现在心里应该清楚，scrapy-redis并不是一个新的框架，虽然它和redis框架长得很相似。