1、任务定义：

爬取某动态分页页面中所有子话题的内容。

所谓“动态分页”：是指通过javascript（简称“js”）点击实现翻页，很多时候翻页后的页面地址url并没有变化，而页面内容随翻页动作动态变化。

2、任务难点及处理方法：

难点：

1）  scrapy如何动态加载所有“下一页”：要知道scrapy本身是不支持js操作的。

2）  如何确保页面内容加载完成后再进行爬取：由于内容是通过js加载的，如果不加控制，很可能出现爬到空页面的情况。

处理方法：

1）scrapy+selenium模拟浏览器点击：通过模拟浏览器点击的方式进行翻页，从而获取每一页内部的有效链接。

2）使用WebDriverWait()等待数据加载：即确保对应内容加载完成后，再进行相应爬取任务。

3、基本思路：

1）  通过模拟浏览器翻页（涉及模拟点击翻页问题），获取每个分页中待爬取页面的url（涉及数据加载问题），将url列表存入文件；

2）  针对每一个url进行普通的爬取。

4、待爬取页面分析：

举例：爬取某网站中所有子话题的内容。

1）子话题都在ul[@class="post-list"]标签下，xpath可以写成li[@class]，表示所有具备class属性的li标签。

2）要想爬取所有页面，需要浏览器模拟点击右上角的“下一页”标签（<li>）。具体分析页面代码后发现，最后一页的“下一页”标签不可点击，可以作为停止获取url列表的标志。

最后一页的“下一页”标签：<liclass="pg_next pg_empty"data-reactid="XX"></li>

其余的“下一页”标签：<liclass="pg_next"data-reactid="XX"></li>

next_page = response.xpath('//ul[@class="pg1"]/li[@class="pg_next"]')

5、Spider代码：

# -*- coding: utf-8 -*- import scrapy import time import base64 from selenium import webdriver from selenium.webdriver.support.ui importWebDriverWait from buluo.items import BuluoItem

class buluoSpider(scrapy.Spider): name = 'buluo_spider' def __init__(self, bid = None): #示例：bid = 12339 """初始化起始页面和游戏bid """ super(buluoSpider, self).__init__() self.bid = bid #参数bid由此传入 self.start_urls = ['http://buluo.qq.com/p/barindex.html?bid=%s' % bid] self.allowed_domain = 'buluo.qq.com' self.driver = webdriver.Firefox() self.driver.set_page_load_timeout(5) #throw a TimeoutException when thepage load time is more than 5 seconds.

def parse(self, response): """模拟浏览器实现翻页，并解析每一个话题列表页的url_list """ url_set = set() #话题url的集合 self.driver.get(response.url) while True: wait = WebDriverWait(self.driver, 2) wait.until(lambda driver:driver.find_element_by_xpath('//ul[@class="post-list"]/li[@class]/a'))#VIP，内容加载完成后爬取 sel_list = self.driver.find_elements_by_xpath('//ul[@class="post-list"]/li[@class]/a') url_list = [sel.get_attribute("href") for sel in sel_list] url_set |= set(url_list) try: wait =WebDriverWait(self.driver, 2) wait.until(lambda driver:driver.find_element_by_xpath('//ul[@class="pg1"]/li[@class="pg_next"]'))#VIP，内容加载完成后爬取 next_page =self.driver.find_element_by_xpath('//ul[@class="pg1"]/li[@class="pg_next"]') next_page.click() #模拟点击下一页 except: print "#####Arrive thelast page.#####" break with open('url_set.txt', mode='w') as f: f.write(repr(url_set)) for url in url_set: yield scrapy.Request(url, callback=self.parse_content)

def parse_content(self, response): """提取话题页面内容，通过pipeline存入指定字段 """ item = BuluoItem() item['timestamp'] = time.strftime('%Y-%m-%d %H:%M:%S') item['bid'] = self.bid item['url'] = response.url #item['content'] = response.body.decode('utf-8') item['content'] = base64.b64encode(response.body) #编码为Base64的网页内容 yield item 

6、爬虫运行：

其余还需配置好settings.py、items.py和pipeline.py等文件，cmd中运行如下命令，即可根据游戏编号爬取想要的子话题内容：

scrapy crawl buluo_spider -a bid=12339