爬虫中chrome浏览器使用方法介绍

1,334次阅读
没有评论

每日分享: 

从现在开始,你要去争取属于你的一切,格局、身材、思维、胆识、人脉、能力以及成熟和自信,要有野心,不负众望。

你要知道,有钱能治愈一切自卑,光善良没有用,你得优秀。

藏好软弱,世界大雨滂沱,万物苟且而活,无人会为你背负更多,除了坚强没有退路!

  1. 了解新建无痕窗口的目的
  2. 了解chrome中network的使用
  3. 了解寻找登录接口的方法

一、新建无痕窗口

浏览器中直接打开网站,会自动带上之前网站保存的cookie,但在爬虫中首次获取页面是没有携带cookie的,这种情况就要用到无痕窗口

使用无痕窗口,首次打开网站,不会带上cookie,能够观察页面的获取情况,包括对方服务器如何设置cookie在本地

以Google为例,如下:

爬虫中chrome浏览器使用方法介绍

 二、chrome中network的更多功能

2.1 Perserve log

默认情况下,页面跳转之后,之前的请求(之前抓的包)信息就会消失,勾选perserve log后,之前的请求就都会被保留下来。

爬虫中chrome浏览器使用方法介绍

2.2 filter过滤

 在url地址很多的时候,可以在filter中输入部分url地址,对所有的url地址起到一定的过滤效果,:

爬虫中chrome浏览器使用方法介绍

2.3 观察特定种类的请求

 有些选项默认选择的是all,即会观察到所有种类的请求,有时候可以按自己的需求,选择其他选项:

  • XHR:大部分情况表示ajax请求
  • JS:js请求
  • CSS:css请求

爬虫中chrome浏览器使用方法介绍

有时候我们并不能确定我们需要的请求是什么类型,直接选择all,从前往后看就行。

三、寻找登录接口

 我们可以通过抓包寻找登录url的地址

爬虫中chrome浏览器使用方法介绍

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-19发表,共计628字。
新手QQ群:570568346,欢迎进群讨论 Python51学习