国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
LoongProxy|全球静态代理IP（>>>点击注册免费测试<<<）
神龙海外|全球动态代理IP（>>>点击注册免费测试<<<）
国内IP代理推荐：
天启|企业级代理IP（>>>点击注册免费测试<<<）
神龙|纯净稳定代理IP（>>>点击注册免费测试<<<）
全民|优质代理IP（>>>点击注册免费测试<<<）

python爬取两个网站

394次阅读
没有评论

前面介绍的scrapy爬虫只能爬取单个网页。如果我们想爬取多个网页。比如网上的小说该如何如何操作呢。比如下面的这样的结构。是小说的第一篇。可以点击返回目录还是下一页

python爬取两个网站

对应的网页代码：

python爬取两个网站

我们再看进入后面章节的网页，可以看到增加了上一页

python爬取两个网站

对应的网页代码：

python爬取两个网站

通过对比上面的网页代码可以看到. 上一页，目录，下一页的网页代码都在

下的 元素的href里面。不同的是第一章只有2个 元素，从二章开始就有3个 元素。因此我们可以通过

下

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试
发表于：Python爬虫
2022-10-25
# Python爬虫
复制链接
赏

相关文章：

版权声明：由Python教程2022-10-25发表，共计202字。
新手QQ群：570568346，欢迎进群讨论 Python51学习
国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
LoongProxy|全球静态代理IP（>>>点击注册免费测试<<<）
神龙海外|海外动态代理IP（>>>点击注册免费测试<<<）
国内IP代理推荐：
天启|企业级代理IP（>>>点击注册免费测试<<<）
神龙|纯净稳定代理IP（>>>点击注册免费测试<<<）
全民|国内代理IP（>>>点击注册免费测试<<<）
每天五分钟Python爬虫
Python爬虫编程6——selenium
python爬虫大师班有道精品课云盘
爬虫
天启|企业级代理IP免费测试>>>>>神龙|纯净稳定代理IP免费测试>>>>>IPIPGO|全球住宅代理IP免费测试>>>>>神龙|国外动态代理IP免费测试>>>>>LoongProxy|全球静态代理IP免费测试>>>>>全民|国内代理IP免费测试