scrapy数据建模与请求
学习目标:
1. 数据建模
通常在做项目的过程中,在items.py中进行数据建模
1.1 为什么建模
1.2 如何建模
在items.py文件中定义要提取的字段:
class MyspiderItem(scrapy.Item): name = scrapy.Field() # 讲师的名字 title = scrapy.Field() # 讲师的职称 desc = scrapy.Field() # 讲师的介绍
1.3 如何使用模板类
模板类定义以后需要在爬虫中导入并且实例化,之后的使用方法和使用字典相同
job.py:
from myspider.items import MyspiderItem # 导入Item,注意路径 … def parse(self, response)
item = MyspiderItem() # 实例化后可直接使用
item['name'] = node.xpath('./h3/text()').extract_first() item['title'] = node.xpath('./h4/text()').extract_first() item['desc'] = node.xpath('./p/text()').extract_first()
print(item)
注意:
1.4 开发流程总结
scrapy startproject 项目名
在items.py文件中进行建模
3.1 创建爬虫
scrapy genspider 爬虫名 允许的域
3.2 完成爬虫
修改start_urls
检查修改allowed_domains
编写解析方法
在pipelines.py文件中定义对数据处理的管道
在settings.py文件中注册启用管道
2. 翻页请求的思路
对于要提取如下图中所有页面上的数据该怎么办?
回顾requests模块是如何实现翻页请求的:
scrapy实现翻页的思路:
3. 构造Request对象,并发送请求
3.1 实现方法
- callback:指定解析函数名称,表示该请求返回的响应使用哪一个函数进行解析
3.2 网易招聘爬虫
通过爬取网易招聘的页面的招聘信息,学习如何实现翻页请求
地址:https://hr.163.com/position/list.do
思路分析:
注意:
# False表示忽略网站的robots.txt协议,默认为True ROBOTSTXT_OBEY = False
# scrapy发送的每一个请求的默认UA都是设置的这个User-Agent USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'
3.3 代码实现
在爬虫文件的parse方法中:
…… # 提取下一页的href next_url = response.xpath('//a[contains(text(),">")]/@href').extract_first()
# 判断是否是最后一页 if next_url != 'javascript:void(0)':
# 构造完整url url = 'https://hr.163.com/position/list.do' + next_url
# 构造scrapy.Request对象,并yield给引擎 # 利用callback参数指定该Request对象之后获取的响应用哪个函数进行解析 yield scrapy.Request(url, callback=self.parse) ……
3.4 scrapy.Request的更多参数
scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False])
参数解释
4. meta参数的使用
meta的作用:meta可以实现数据在不同的解析函数中的传递
在爬虫文件的parse方法中,提取详情页增加之前callback指定的parse_detail函数:
def parse(self,response): … yield scrapy.Request(detail_url, callback=self.parse_detail,meta={"item":item}) …
def parse_detail(self,response): #获取之前传入的item item = resposne.meta["item"]
特别注意
小结
参考代码
wangyi/spiders/job.py
import scrapy
class JobSpider(scrapy.Spider): name = 'job' # 2.检查允许的域名 allowed_domains = ['163.com'] # 1 设置起始的url start_urls = ['https://hr.163.com/position/list.do']
def parse(self, response): # 获取所有的职位节点列表 node_list = response.xpath('//*[@class="position-tb"]/tbody/tr') # print(len(node_list))
# 遍历所有的职位节点列表 for num, node in enumerate(node_list): # 索引为值除2取余为0的才是含有数据的节点,通过判断进行筛选 if num % 2 == 0: item = {}
item['name'] = node.xpath('./td[1]/a/text()').extract_first() item['link'] = node.xpath('./td[1]/a/@href').extract_first() item['depart'] = node.xpath('./td[2]/text()').extract_first() item['category'] = node.xpath('./td[3]/text()').extract_first() item['type'] = node.xpath('./td[4]/text()').extract_first() item['address'] = node.xpath('./td[5]/text()').extract_first() item['num'] = node.xpath('./td[6]/text()').extract_first().strip() item['date'] = node.xpath('./td[7]/text()').extract_first() yield item
# 翻页处理 # 获取翻页url part_url = response.xpath('//a[contains(text(),">")]/@href').extract_first()
# 判断是否为最后一页,如果不是最后一页则进行翻页操作 if part_url != 'javascript:void(0)': # 拼接完整翻页url next_url = 'https://hr.163.com/position/list.do' + part_url
yield scrapy.Request( url=next_url, callback=self.parse )
wangyi/items.py
class WangyiItem(scrapy.Item): # define the fields for your item here like:
name = scrapy.Field() link = scrapy.Field() depart = scrapy.Field() category = scrapy.Field() type = scrapy.Field() address = scrapy.Field() num = scrapy.Field() date = scrapy.Field()
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试