现如今,随着人们消费水平的提高,看电影成为人们消费娱乐的选择,大家观看电影艺术根据自己的喜好选择,另一个就是根据此电影的评价选择。豆瓣是一个观众可以评价电影好坏及影评的地方,我们可以在豆瓣获取高质量的电影名称去选择观看,本文介绍python爬虫豆瓣电影名思路分析及具体代码。
一、爬虫豆瓣电影名思路分析
1、爬虫代理
headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit' + '/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36' }
2、获取网络连接
res = requests.get("https://movie.douban.com/top250", headers=headers)
第一个参数就是网址,要确保网址能够打开,第二个参数就是代理。
3、对网址进行解析
soup = BeautifulSoup(res.text, 'lxml')
第一个参数是网站,后缀名".text"是将网站源码转换为文本,方便解析;
第二个参数是解析器,而lxml就是一种解析器,用来解析网站。
4、匹配所有电影名所在的标签
targets = soup.find_all("div", class_="hd")
5、使用简单的for循环,输出标签中的电影名
for each in targets: print(each.a.span.text)
循环输出就可以了,但要注意转换为文本,避免出现乱码的情况。
二、爬虫豆瓣电影名简单代码示例
import requests from bs4 import BeautifulSoup if __name__ == '__main__': headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit' + '/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36' } res = requests.get("https://movie.douban.com/top250", headers=headers) print(res.status_code) soup = BeautifulSoup(res.text, 'lxml') targets = soup.find_all("div", class_="hd") for each in targets: print(each.a.span.text
以上就是python爬虫豆瓣电影名思路分析及具体代码,希望能对你有所帮助哟~
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试