在明确了scrapy-redis与redis的关系之后,我们可以进一步了解scrapy-redis有哪些适合python初学者的使用。我们平时对于文件的修改和添加还是很频繁的,那么scrapy-redis在这两个功能的实现上好不好用呢?为此小编分别进行了测试,代码部分的同样也同样展现给大家,我们一起探索scrapy-redis的修改和添加的操作。
在setting.py中修改和添加的内容
# 把scrapy中默认的去重组件替换为scrapy-redis中的去重组件 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" # 把scrapy中默认的调度器替换成scrapy-redis中的调度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 任务持久化 SCHEDULER_PERSIST = True # 添加scrapy-redis管道 ITEM_PIPELINES = { # 'guoke.pipelines.GuokePipeline': 300, 'scrapy_redis.pipelines.RedisPipeline': 400, } # 添加redis数据库的连接URL # REDIS_URL = 'redis://127.0.0.1:6379' REDIS_HOST = 'localhost' REDIS_PORT = 6379 REDIS_PARAMS = {} REDIS_PARAMS['password'] = '12345'
wenda.py添加的内容
from scrapy_redis.spiders import RedisSpider # class WendaSpider(scrapy.Spider): # 继承RedisSpoder类 class WendaSpider(RedisSpider): name = 'wenda' allowed_domains = ['guokr.com'] #添加redis库,当redis中没有这个键的时候,程序会处于监听等待状态 redis_key = 'python'
今天的scrapy-redis使用方面已经全部分享给大家了,不知道小伙伴们有没有学会~不成功的小伙伴可以看看是不是复制代码的时候出了问题。
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试