我们都知道,虽然对于爬虫进行爬取的内容说的特别官方,专业的术语,总是让我们听得云里雾里,但是总的来说,大家应该都知道爬虫的基本流程吧,首先是将自己进行伪装,跟一个正常的登录使用人员一样,但是最终,别人只是看一遍知识,而我们是需要进行知识的获取的,这也就学会爬虫第一步要知道的内容,好啦话不多说,大家来了解看下吧~
先登录成功1次,获取到携带登陆信息的Cookie
# 获取个人主页响应 def get_html(self): print(html) self.parse_html(html) def parse_html(self,html): pass if __name__ == '__main__': spider = RenRenLogin() spider.get_html()
最终程序实现代码
import requests from lxml import etree class RenrenSpider(object): def __init__(self): self.post_url = self.get_url = self.form_data = { 'email': '******', # 用户名 'password': '*******'} # 密码 self.session = requests.session()
好啦,大家如果如果想要去抓取页面内容,碰到需要登录才可以访问的网站,就可以利用上述小编给大家整理的文案内容了哦~如果还想了解更多好玩的知识,查看Python爬虫用Selenium模拟用户操作哦~
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试