爬虫中scrapy.Request的更多参数

823次阅读
没有评论
爬虫中scrapy.Request的更多参数

每日分享:

人的一生是短的,但如果无趣的过这一生,就太长了。

没有体会过别人的痛苦,就不要劝别人大度。

一、scrapy.Request的参数

scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=Fallse])

参数解释:

  1. 中括号中的参数为可选参数,可写可不写
  2. callback:表示当前的url响应交给哪个函数去处理(默认为parse函数)
  3. meta:实现数据在不同解析函数中传递,meta默认带有部分数据,比如下载延迟、请求深度等(用于解析方法之间的数据传递,常用在一条数据分散在多个不同结构的页面中的情况)
  4. dont_filter:默认为False,会过滤请求的url地址,即请求过的url地址不会继续被请求,对需要重复请求的url地址可以把它设置为True,start_urls中的地址会被反复请求,否则程序不会启动
  5. headers:接收一个字典,其中不包括cookies
  6. cookies:接收一个字典,专门放置cookies
  7. method:指定POST或GET请求
  8. body:接收json字符串,为post的数据发送payload_post请求

二、meta参数

meta的作用:meta可以实现数据在不同的解析函数中的传递

在爬虫文件的parse方法中,增加一个函数parse_detail函数(用来解析另一个页面):

def parse(self,response):
    …
    yield scrapy.Request(detail_url, callback=self.parse_detail,meta={"item":item})

def parse_detail(self,response):
    #获取之前传入的item
    item = resposne.meta["item"]

就相当于,把parse中解析的数据存到了meta字典中,对应的key为item;而在另一个函数(parse_detail)中,通过meta字典中的key:item来提取parse中的数据,从而实现不同页面数据的拼接

注意:

  1. meta参数是一个字典
  2. meta字典中有一个固定的键proxy,表示代理ip
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-19发表,共计931字。
新手QQ群:570568346,欢迎进群讨论 Python51学习