随着人们生活水平的提高,肯德基这类的快餐消费的十分火爆,成为小朋友和年轻人的最爱,我们到一个地方想要找到肯德基店面,会根据导航获取肯德基地址,那你知道我们也可以使用python爬虫获取KFC地址吗?我们可以使用python爬虫的requests模块模拟浏览器发送请求对肯德基官网的数据进行爬取,本文向大家介绍相关步骤。
爬虫目标:使用requests模块对肯德基官网的数据进行爬取。
requests模块作用:requests模块是python一款原生的基于网络请求的模块,我们用来模拟浏览器发送请求。
1、导入requests模块
# 调用requests模块 import requests if __name__ == '__main__':
2、获取要请求的url并发起请求
requests模块请求功能来代替我们用户在网页上的鼠标点击操作,即使不用浏览器也能完成访问。
# 获取要请求的url post_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword' kw = input('请输入城市名: ') data = { 'cname': '', 'pid': '', 'keyword': kw, 'pageIndex': '1', 'pageSize': '10' } # UA伪装 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36' }
3、获取响应数据并储存数据
发起了请求,服务器自然会给回应,从服务器返回的数据中可以筛选出我们所希望得到的数据。
# 获得请求返回数据并保存 dict_text = response.text #虽然返回的是txt格式,但是这里保存成json格式,就可以使用自动调整格式了,更方便查看 filename = kw+'市kfc分布.json' fp = open(filename,'w',encoding='utf-8') fp.write(dict_text) print('爬取成功~')
以上就是Python爬虫如何爬取KFC地址的步骤,是不是挺简单的,可以尝试看看哟~
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试