python网络爬虫代码简单

821次阅读
没有评论

python网络爬虫代码简单

一、【基本专业术语】

网络爬虫(英语:web crawler),也叫网络蜘蛛(spider),是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。

网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有ipipgo、自动索引、模拟程序或者蠕虫。

网络爬虫可以将自己所访问的页面保存下来,以便搜索引擎事后生成索引供用户搜索。

【一般有两个步骤】:1.获取网页内容 2.对获得的网页内容进行处理

准备

Linux开发环境,python3.61安装方法请参考百度

安装一些必要的第三方库

其中requiests可以用来爬取网页内容,beautifulsoup4用来将爬取的网页内容分析处理

pip3 install requiests

pip3 install beautifulsoup4

二、【爬起】

使用request库中的get方法,请求url的网页内容

三、【编写代码】

[root@localhost demo]# touch demo.py

[root@localhost demo]# vim demo.py

#web爬虫学习 – 分析

#输入:url

#处理:request库函数获取页面信息,并将网页内容转换成为人能看懂的编码格式

#输出:爬取到的内容

import requests

def getHTMLText(url):

try:

r = requests.get( url, timeout=30 )

r.raise_for_status() #如果状态码不是200,产生异常

r.encoding = ‘utf-8’ #字符编码格式改成 utf-8

return r.text

except:

#异常处理

return " error "

url = “http://www.baidu.com”

print( getHTMLText(url) )

四、【运行效果如下】:

[root@localhost demo]# python3 demo.py

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-24发表,共计831字。
新手QQ群:570568346,欢迎进群讨论 Python51学习