Python爬虫学习心得小结

• • 爬虫基本原理
  • • 基础知识回顾
  • urllib库
  • requests库
  • 解析网页的bs4

爬虫基本原理

网络爬虫是搜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个互联网内容的镜像备份。爬虫的原理是从起始种子链接开始的，通过发送HTTP请求，得到该链接的内容，然后对内容进行分析获取网页中的有效链接，并将这些连接保存到待访问队列中，等待爬虫线程爬取。

Python提供了众多函数库来实现网页数据的爬取和分析，例如，通过标准库urllib、第三方库requests 爬取网页；通过正则表达式库re、第三方库beautifulsoup4 分析网页。

基础知识回顾

爬取网页需要程序员了解浏览器和Web服务器的请求响应的工作过程，掌握URL地址的含义等基本知识。

urllib库

该库是python内置的库，该库提供了一函数和方法，它可以使得用户像访问本地文件一样读取网页的内容或者下载网页。
urllib库中包含的模块:

• urllib.request :用来打开和读取url
• urllib.error :包含一些由urllib.rquest产生的错误，可以使用try语句进行异常捕捉
• urllib.parse:包含一些解析URL的方法
• urllib.robotparser:用来解析robots.txt文本文件。他提供一个单独的RobotFileRarser类，通过该类提供的can_fetch()方法测试爬虫是否可以下载网页。

使用urllib.request.urlopen()函数打开一个网页，读取并打印网页信息。格式：

urllib.request.urlopen(URL[,data,proxies])

参数data表示提交到url的数据；参数proxies用于设置代理。函数返回一个Response对象，可以像本地文件一样操作这个Response对象以获取远程数据。Response对象的一些方法：

• read()、readline()、readlines()、fileno()、close()
• info():返回一个httplib.HTTPMessage对象，表示远程服务器返回的头信息。
• getcode():返回HTTP状态码。

import urllib.request

fopen = urllib.request.urlopen("http://www.sohu.com") print("Status:",fopen.status,fopen.reason) #以下代码等同于 fopen.info() for k,v in fopen.getheaders(): print("%s:%s"%(k,v))

requests库

解析网页的bs4

beautifulsoup4库也叫bs4库，用于快速转换被爬取的网页的第三方库。bs4将网页转换为一颗DOM树，并尽可能和原文档内容保持一致。
bs4库提供一些简单 方法和类来查找、定位、修改一个转换后的DOM树，还能自动将送进来的文档转换为unicode编码，而且在输出时转化为UTF-8格式。
DOM树中的每一个节点都是一个Python对象，所有的对象都可以归纳为4种类型：

• Tag 对象 ：HTML标签加上其中包含的内容就是Tag。找到的时所有内容种以一个符合要求的标签，如果要查询所有的标签，需要使用find_all()方法。可以通过type()函数验证标签对象的类型。

• NavigableString对象 ： 用于操纵标签内部的文字，标签的string属性返回NavigableString对象。

• Beautifulsoup对象 ：表示一个文档的全部内容。

• Comment对象 ： 一个特殊的NavigableString对象，它的内容不包括注释符号。注释是一个Comment对象，所以用户在使用string前需要先做一下判断。

  from bs4 import BeautifulSoup html = "<p><!–这是注释–></p>" soup = BeautifulSoup(html,"html.parser") soup.p.string #无判断直接输出 if(type(soup.p.string) == soup.Comment)：# 先判断标签种是否为注释语句 print(soup.p)

—–未完待续