Python 爬虫–[最简单的爬虫例子]

1、拷贝代码

#!/usr/bin/python # -*- coding: UTF-8 -*-

import requests from bs4 import BeautifulSoup

movie_url = 'https://movie.douban.com/subject/1292052/'

def download_page(url): headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_12)AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/47.0.2526.80 Safari/537.36 ' }

data = requests.get(url, headers=headers).content return data

def paser_html(html): soup = BeautifulSoup(html, 'lxml') title = soup.find(property='v:itemreviewed').string

return title

def main(): print(paser_html(download_page(movie_url)))

if __name__ == '__main__': main()

2、编译程序

• 可能会编译出错
  
  *我们主要关注最后一排报错，一般报错是因为缺少包，我们在pycharm的终端下载一下就好了。
  例如：上图显示缺少 ‘pandas’
  我们只需要点击终端，然后输入 pip install <缺失的包>
  最后等待下载完成，重新编译就可以了~
  
  *例如缺少的是‘lxml’
  同样的我们在终端输入: pip install lxml
  等待下载完成，重新编译，就可以了~
  

3、实验结果

• 通过爬取豆瓣网站上的某个具体链接，我们爬取得到：该链接是电影《肖申克的救赎》 “The Shawshank Redemption”

总结

这是个非常简单的爬虫例子，通过这个例子，我们可以非常直观的看到爬虫是怎么通过代码爬取我们需要的信息，有了这一理性的认知之后，我们再从代码入手，一点点往里学习爬虫的奥秘，同时也可以学习python，就很好玩，对不对~

——[分界线]——-

参考：ywz2008008 一个最基本最简单的爬虫代码【精简】