一、【基本专业术语】
网络爬虫(英语:web crawler),也叫网络蜘蛛(spider),是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。
网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有ipipgo、自动索引、模拟程序或者蠕虫。
网络爬虫可以将自己所访问的页面保存下来,以便搜索引擎事后生成索引供用户搜索。
【一般有两个步骤】:1.获取网页内容 2.对获得的网页内容进行处理
准备
Linux开发环境,python3.61安装方法请参考百度
安装一些必要的第三方库
其中requiests可以用来爬取网页内容,beautifulsoup4用来将爬取的网页内容分析处理
pip3 install requiests
pip3 install beautifulsoup4
二、【爬起】
使用request库中的get方法,请求url的网页内容
三、【编写代码】
[root@localhost demo]# touch demo.py
[root@localhost demo]# vim demo.py
#web爬虫学习 – 分析
#输入:url
#处理:request库函数获取页面信息,并将网页内容转换成为人能看懂的编码格式
#输出:爬取到的内容
import requests
def getHTMLText(url):
try:
r = requests.get( url, timeout=30 )
r.raise_for_status() #如果状态码不是200,产生异常
r.encoding = ‘utf-8’ #字符编码格式改成 utf-8
return r.text
except:
#异常处理
return " error "
url = “http://www.baidu.com”
print( getHTMLText(url) )
四、【运行效果如下】:
[root@localhost demo]# python3 demo.py
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试