python 爬虫开发基础知识-python爬虫需要哪些基础知识

438次阅读
没有评论
python
  • Request 请求方式 常用的有get post 请求的url 第一部分是协议(或称为服务方式) 第二部分是存有该资源的主机IP地址(有时也包括端口号) 第三部分是主机资源的具体地址,如目录和文件名等 请求头 包含请求时的头部信息,如User-Agent,Host,Cookies等信息 请求体 请求时携带的数据,如提交表单数据时候的表单数据
  • Response 所有HTTP响应的第一行都是状态行,依次是当前HTTP版本号,3位数字组成的状态代码,以及描述状态的短语,彼此由空格分隔 相应状态 有多种响应状态,如:200代表成功,301跳转,404找不到页面,502服务器错误 响应头 如内容类型,类型的长度,服务器信息,设置Cookie 响应体 最主要的部分,包含请求资源的内容,如网页HTMl,图片,二进制数据等 3.URL解析 urlparse from urllib.parse import urlparse result = urlparse("http://www.baidu.com/index.html;user?id=5#comment") urlencode 这个方法可以将字典转换为url参数 urlencode(params) params 是字典格式 4.Requests是用python语言基于urllib编写的 response.text会出现乱码的问题,所以这个使用response.content 这样返回的数据格式其实是二进制格式,然后通过decode()转换为utf-8,这样就解决了通过response.text直接返回显示乱码的问题. Requests模块允许使用params关键字传递参数,以一个字典来传递这些参数 response = requests.get("http://httpbin.org/get",params=data) response = requests.post("http://httpbin.org/post",data=data) 文件上传 files= {"files":open("git.jpeg","rb")} response = requests.post("http://httpbin.org/post",files=files) 获取cookie response.cookies 证书验证 from requests.packages import urllib3 urllib3.disable_warnings() response = requests.get("https://www.12306.cn",verify=False) 代理设置 requests.get("https://www.baidu.com",proxies=proxies) 认证设置 response = requests.get("http://120.27.34.24:9001/",auth=HTTPBasicAuth("user","123")) 异常 所有的异常方法都在requests.exceptions,使用时根据需要进行引入即可
  • 神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

    相关文章:

    版权声明:Python教程2022-11-01发表,共计1248字。
    新手QQ群:570568346,欢迎进群讨论 Python51学习