Python爬虫后获取重定向url的方法有哪些?

835次阅读
没有评论
Python爬虫后获取重定向url的方法有哪些?

我们在使用python写爬虫在爬取页面时会遇到网页被重定向的情况,当点点击一个网页跳转到另一个页面,URL的地址都会改变,会导致无法请求到数据。本文介绍Python爬虫后获取重定向url的两种方法:1、导入urllib库获得重定向url;2、设置浏览器代理,请求网页。

方法一:导入urllib库获得重定向url

# 获得重定向url
from urllib import request
# https://zhidao.baidu.com/question/681501874175782812.html
url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3zrh9 
JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596"
print(request.urlopen(url).geturl())

方法二:设置浏览器代理,请求网页。

# 请求头,这里我设置了浏览器代理
headers = headers = {'User-Agent': 'xx'}
# 这里chrome的user-agent获取方式:在浏览器地址栏输入 about://version 即可得到结果
url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3 
zrh9JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596"
# 请求网页
response = requests.get(url, headers=headers)
# print(response.status_code) # 打印响应的状态码
print(response.url) # 打印重定向后的网址

以上就是Python爬虫后获取重定向url的两种方法,希望能对你有所帮助哟~

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-07-18发表,共计976字。
新手QQ群:570568346,欢迎进群讨论 Python51学习