在写爬虫时，发现一个问题（使用的时scrapy蜘蛛爬虫），获取某一个页面的数据时，使用css选择器，没有任何问题，但是当用到连续翻页时，页面张数大于5，就会出现，response正常，返回码为200，但是返回的数据为空，我在for循环中加入了time.sleep也没有用。

       百度原因，发现是因为scrapy中默认的页面请求速度与数据下载速度过快，造成服务器返回的数据为空，所以，只要修改配置文件settings.py,将其中的访问速度与下载速度调整一下，就没有问题了，具体设置：

#遵守robots协议 ROBOTSTXT_OBEY = True #并发请求个数（越小越慢） CONCURRENT_REQUESTS = 1 #下载延迟时间（越大请求越慢） DOWNLOAD_DELAY = 5 #默认False;为True表示启用AUTOTHROTTLE扩展 AUTOTHROTTLE_ENABLED = True #默认3秒;初始下载延迟时间 AUTOTHROTTLE_START_DELAY = 1 #默认60秒；在高延迟情况下最大的下载延迟 AUTOTHROTTLE_MAX_DELAY = 3 #使用httpscatch缓存 HTTPCACHE_ENABLED = True HTTPCACHE_EXPIRATION_SECS = 1 HTTPCACHE_DIR = ‘httpcache’ HTTPCACHE_IGNORE_HTTP_CODES = [] HTTPCACHE_STORAGE = ‘scrapy.extensions.httpcache.FilesystemCacheStorage’

将以上设置好以后，再次运行就没有问题了