接上文爬图片下载：

Scrapy爬图片入门——静态网站_ahc176的博客-CSDN博客

翻页：

通过观察发现url变化是非常有规律的。

 修改image.py:

 代码：

import scrapy

from ..items import DemoItem

class ImageSpider(scrapy.Spider): name = 'image' #allowed_domains = ['https://www.58pic.com/c/24601329?page=1.html'] start_urls = ['https://www.58pic.com/c/24601329?page=1.html']

def parse(self, response): base_url = '/'.join(response.url.split('/')[:4]) + '/' # 拼接路径。 for i in range(1, 11): url = base_url + '24601329?page=%d.html' % i yield scrapy.Request(url, callback=self.parse_url) # 交给子函数进行下一步处理。

def parse_url(self, response): img_list=response.xpath("//div[@class='list-box col-s-960 clearfix ']/div") print(img_list) for img in img_list: item=DemoItem() item["title"]=img.xpath("./a/div[2]/span[2]/text()").extract_first()+'.png' item["img_urls"]='http:'+img.xpath("./a/div[@class='image-box']/img/@data-original")[0].extract() yield item