Python 爬虫案例（二）

此篇文章将爬取的网站是：http://www.warrensburg-mo.com/Bids.aspx (有时候打开不一定会有标书，因为标书实时更新) 类型跟上一篇相似，用google浏览器，但在这篇中会讲如何下载附件，Scrapy框架中提供了FilesPipeline专门用于下载文件。另外以后发布的爬虫博客也会循序渐进：
爬取目标：下载附件，自己命名附件名称，解决下载链接的重定向问题
我们还是在csdn项目中操作(案例一中有创建过)，小编比较懒：

首先在 items.py 中添加几项，因为我们这次多了download的步骤：

import scrapy class CsdnItem(scrapy.Item): title = scrapy.Field() expiredate = scrapy.Field() issuedate = scrapy.Field() web_url = scrapy.Field() bid_url = scrapy.Field() #这5个在上一篇讲过了 file_urls = scrapy.Field() # 附件链接

接下来我们在左侧栏的spiders文件下面创建一个Python File，取名为warrensburg,系统会自动生成一个warrensburg.py的爬虫文件：

import scrapy import datetime from scrapy.http import Request from CSDN.items import CsdnItem

class WarrensburgSpider(scrapy.Spider): name = 'warrensburg' start_urls = ['http://www.warrensburg-mo.com/Bids.aspx'] domain = 'http://www.warrensburg-mo.com/'

def parse(self, response): #xpath定位找出bid所在的区域 result_list = response.xpath("//*[@id='BidsLeftMargin']/..//div[5]//tr") for result in result_list: item = CsdnItem() title1 = result.xpath("./td[2]/span[1]/a/text()").extract_first() if title1: item["title"] = title1 item["web_url"] = self.start_urls[0] #每一条bid的URL urls = self.domain + result.xpath("./td[2]/span[1]/a/@href").extract_first() item['bid_url'] = urls #将每条URL交给下一个函数进行页面解析 yield Request(urls, callback=self.parse_content, meta={'item': item})

def parse_content(self, response): item = response.meta['item'] #这些都和案例一中的类似 issuedate = response.xpath("//span[(text()='Publication Date/Time:')]/following::span[1]/text()").extract_first() item['issuedate'] = issuedate expireDate = response.xpath("//span[(text()='Closing Date/Time:')]/following::span[1]/text()").extract_first() #之所以在截至日期这里多写一个if判断，是因为小编发现有些bids里面的截止日期是open util contracted #所以我们遇到这种情况就设置截止日期为明天 if 'Open Until Contracted' in expireDate: #就是那系统现在的时间 + 一天 = 明天 expiredate1 = (datetime.datetime.now() + datetime.timedelta(days=1)).strftime('%m/%d/%Y') else: expiredate1 = expireDate item['expiredate'] = expiredate1 #我们将要下载的附件放入一个列表里面 file_list = [] file_list1 = response.xpath("//div[@class='relatedDocuments']/a/@href").extract() if file_list1: #有的标书会有不止一个附件，所以这里用for循环 for listurl in file_list1: file_list.append(self.domain + listurl) item['file_urls'] = file_list yield item

接下来是setting.py文件：

# Obey robots.txt rules ROBOTSTXT_OBEY = False #将这行改为False ITEM_PIPELINES = { 'scrapy.pipelines.files.MyFilesPipeline':1 #调用scrapy自带的pipelines用于下载文件 } FILES_STORE = '/Users/agnes/Downloads' #这是下载的文件的存储路径

在terminal中运行代码：
scrapy crawl warrensburg

运行完后发现，文件根本没被下载下来，然后发现warning中显示301，那么这是什么问题呢？？
因为 MEDIA_ALLOW_REDIRECTS 这个问题，在自带的FilesPipeline中这项默认是False的，那么要将这项改为True就可以啦。。。修正后的setting.py代码：

# Obey robots.txt rules ROBOTSTXT_OBEY = False #将这行改为False ITEM_PIPELINES = { 'scrapy.pipelines.files.MyFilesPipeline':1 #调用scrapy自带的pipelines用于下载文件 } FILES_STORE = '/Users/agnes/Downloads' #这是下载的文件的存储路径 MEDIA_ALLOW_REDIRECTS = True

运行后又发现，下载下来的文件名称是一串‘乱码’，而且没有文件后缀，那么我们现在来解决这个问题，我们先来看一下scrapy自带的FilesPipeline的源码：

其中的file_download函数调用了file_path函数，给出了文件的path,那么我们现在将这个file_download函数重写，让它可以获取文件类型并给出新的path,我们打开pipelines.py这个文件:

from scrapy.pipelines.files import FilesPipeline,BytesIO,md5sum #这些都要导入 from urllib import parse import re

class MyFilesPipeline(FilesPipeline): #在FilesPipeline的基础上创建了自己的pipeline

def file_downloaded(self, response, request, info): #函数名称和原FilesPipeline中的一样 pattern = re.compile(r'filename=(.*)') #文件名就是filename后面的字符串

#利用Content-Disposition获取文件类型， containFileName = response.headers.get('Content-Disposition').decode('utf-8') if not containFileName: containFileName = response.headers.get('content-disposition').decode('utf-8')

#根据pattern在containFileName中找对应的字符串 file_name1 = pattern.search(containFileName).group(1)

#解码，例如文件名里边带有的%20，通过解码可以转换成空格，如果没有这步，生成的文件名称则带有%20，这行可以删掉自己试试 file_name2 = parse.unquote(file_name1) path = 'full/%s' % (file_name2) #新的path在full文件夹中

buf = BytesIO(response.body) #以下这些照写 checksum = md5sum(buf) buf.seek(0) self.store.persist_file(path, buf, info) return checksum

然后改下setting.py：

# Obey robots.txt rules ROBOTSTXT_OBEY = False ITEM_PIPELINES = { 'CSDN.pipelines.MyFilesPipeline':1 } FILES_STORE = '/Users/agnes/Downloads' MEDIA_ALLOW_REDIRECTS = True

在terminal中运行代码：
scrapy crawl warrensburg

我们找到文件存储的路径，打开full文件夹，结果如图：

名称是根据path生成的，大家的结果可能跟我不一样，因为标书会实时更新，你们爬取下来的文件也会和我的不一样。