scrapy爬取多页面

394次阅读
没有评论

前言

使用scrapy的目的是方便爬虫人员通过scrapy框架编写简单的代码,提取需要爬取的网站上有用的数据,其框架底层已经对爬虫的过程做了大量的逻辑处理,而爬虫人员只需按照指定的规则使用即可,个人觉得这其中最麻烦的工作在于分析要提取的网站html结构,然后使用解析器解析出需要的字段数据

在上一篇中,我们学会了使用scrapy爬取一个简单的网页,但那个是单页面的数据,现实中,很多网站的数据都是分页的,因此需要通过分页爬取才能把所有的数据全部提取出来,下面简单分享一下这个流程,本篇我们要爬取的网站如下,是一个段子的网站
scrapy爬取多页面

1、创建scrapy的项目

通过这两个命令创建并初始化一个scrapy项目

scrapy startproject qsbk scrapy genspider qsbk_spider “http://www.lovehhy.net”

创建完毕后,导入到pycharm编辑器中,项目的结构大家就比较熟悉了,这里不再过多解释

scrapy爬取多页面

为了方便调试,我不想在cmd黑窗口

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-25发表,共计427字。
新手QQ群:570568346,欢迎进群讨论 Python51学习