网络爬虫python不难学,在入手方面也是非常简单的。
1、爬虫概念
网络爬虫,又称网页蜘蛛,是一种根据一定规则自动捕捉万维网信息的程序或脚本。
2、爬虫运行方式
大多数爬行器的运行方式是像“发送请求—获取页面—解析页面—提取并存储内容”这样,实际上也模拟了我们使用浏览器获取网页信息的过程。
简而言之,当我们将请求发送到服务器时,返回页面,通过对页面进行解析,我们可以提取所需的信息部分,并将其存储到指定文档或数据库中。
3、爬虫实例
import re def geturllist(): # 不访问网站,而是实例一个对象,为了模拟浏览器访问服务器 req = urllib2.Request("http://www.budejie.com/video/") # 添加申请访问的header,让对方服务器误以为是浏览器申请访问 req.add_header('User-Agent',' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36') # 打开我刚才创建的实例对象 res =urllib2.urlopen(req) html = res.read() print html # 访问到了资源代码 # 定义一个正则化表达式为了获取我要的视频网址 reg = r'data-mp4="(.*?)" ' # 将网页源码中的视频网址找出来 urllist = re.findall(reg,html) # print urllist # 有20个视频网址,用for循环一个一个下载出来 n = 1 for url in urllist: # url 视频网址,'%s.mp4'下载后的名字,url.split('/')[-1] 将字符串按照‘/'分开 urllib.urlretrieve(url,'%s.mp4' %url.split('/')[-1]) # 下载视频 n = n+1
以上就是网络爬虫python学习难易的介绍,相信大家经过本篇的学习,已经对网络爬虫有了初步的了解,可以从基础的爬虫知识入手。
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试