如何在python爬虫cookie中实现文件保存

681次阅读
没有评论

如何在python爬虫cookie中实现文件保存

我们之前讲过cookie可以存储一些信息,帮助我们免于再次访问网页的登录,那么这种存储功能是否可以延伸到其他的方面呢?这里小编想到了我们最常用的文件保存,是否同样可以用cookie来实现呢?小伙伴们也可以发散下思维,考虑这种可能性的存在。接下来就文件保存在python爬虫cookie中实现给大家进行分享。

 

如果我们想将cookie保存到文件中该怎么做呢?这时,我们就要用到

FileCookieJar这个对象了,在这里我们使用它的子类MozillaCookieJar来实现Cookie的保存

import cookielib
import urllib2
 
#设置保存cookie的文件,同级目录下的cookie.txt
filename = 'cookie.txt'
#声明一个MozillaCookieJar对象实例来保存cookie,之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler = urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#创建一个请求,原理同urllib2的urlopen
response = opener.open("http://www.baidu.com")
#保存cookie到文件
cookie.save(ignore_discard=True, ignore_expires=True)

 

由此可见,ignore_discard的意思是即使cookies将被丢弃也将它保存下来,ignore_expires的意思是如果在该文件中cookies已经存在,则覆盖原文件写入,在这里,我们将这两个全部设置为True。运行之后,cookies将被保存到cookie.txt文件中,我们查看一下内容,附图如下

如何在python爬虫cookie中实现文件保存

 

上面就是我们用cookie保存文件的运行成果,看起来界面也是比较整洁的,小伙伴们有没有成功实现呢?如果有一些延伸的存储用法,小伙伴们也可以大胆的实践一下。

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-05-20发表,共计933字。
新手QQ群:570568346,欢迎进群讨论 Python51学习