一个简单的Python爬虫

375次阅读
没有评论
一个简单的Python爬虫

最近研究了一下Python,学以致用,写一个小爬虫:

        基础的爬虫就是通过编写程序查看页面获取资源,简单来说也就是模拟浏览器发请求。

        那么我们需要做的也就是用程序模拟浏览器,输入一个网址,获取资源内容 。

和java相比,Python搞定需求很简单,所以选择了用Python做:

简单的爬虫分为三部:

       1.导入Python包

from urllib import urlopen

      2.输入需要爬取的URL

url = "http://www.baidu.com"

      3.获取返回信息

resp = urlopen(url)

就可以得到信息了,输出到一个新文件中,用网页打开,就能获取到爬取的百度官网页面 :

代码如下:

# -*- coding: utf-8 -*- # 开启对utf-8的支撑

# 引入包 from urllib import urlopen

# 设置需要爬取的目标URl url = "http://www.baidu.com"

# 获取返回值 resp = urlopen(url)

# 写入文件 with open("mybaidu.html", mode="w") as f: f.write(resp.read()) # 打印结束语句 print ("finish all")

我们就可以看到一个html的页面输出了。用浏览器打开,就是百度的主页。

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-28发表,共计562字。
新手QQ群:570568346,欢迎进群讨论 Python51学习