最近研究了一下Python,学以致用,写一个小爬虫:
基础的爬虫就是通过编写程序查看页面获取资源,简单来说也就是模拟浏览器发请求。
那么我们需要做的也就是用程序模拟浏览器,输入一个网址,获取资源内容 。
和java相比,Python搞定需求很简单,所以选择了用Python做:
简单的爬虫分为三部:
1.导入Python包
from urllib import urlopen
2.输入需要爬取的URL
url = "http://www.baidu.com"
3.获取返回信息
resp = urlopen(url)
就可以得到信息了,输出到一个新文件中,用网页打开,就能获取到爬取的百度官网页面 :
代码如下:
# -*- coding: utf-8 -*- # 开启对utf-8的支撑
# 引入包 from urllib import urlopen
# 设置需要爬取的目标URl url = "http://www.baidu.com"
# 获取返回值 resp = urlopen(url)
# 写入文件 with open("mybaidu.html", mode="w") as f: f.write(resp.read()) # 打印结束语句 print ("finish all")
我们就可以看到一个html的页面输出了。用浏览器打开,就是百度的主页。
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试