什么是爬虫：使用编程语言所编写的一个用于爬取Web或Appd数据的应用程序。

爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler）。 实际的网络爬虫系统通常是几种爬虫技术相结合实现的。

怎么爬取数据：
1、找到要爬取的目标网站、发起请求
2、分析URL是如何变化的和提取有用的URL
3、提取有用的数据
爬虫的基本流程：获取网页、解析网页、提取数据、保存数据。

爬虫基础

一、HTTP与HTTPS
●HTTP协议（全称是HyperText Transfer Plrotocal ），中文意思是超文本传输协议，是一种发布和接收HT ML (HyperText Markuup Language) 页面的方法。服务器端口号为80端口。
●HTTPS协议(全称是Hyper Text Transfer Protocol over SecureSocket Layer)，是HTTP协议的加密版本，在HTTP 下加入了SSL层，服务器端口号是443。

二、URL与URI
●URL(网址)是Uriform Resource Locator的简写， 统一资源定位符。一个URL由以下几部分组成：

以东方财富网为例：http://push2.eastmoney.com/api/qt/clist/get?cb=jQuery112306788535754053917_1635064402731&fid=f62&po=1&pz=50&pn=1&np=1&fltt=2&invt=2&ut=b2884a393a59ad64002292a3e90d46a5&fs=m%3A0%2Bt%3A6%2Bf%3A!2%2Cm%3A0%2Bt%3A13%2Bf%3A!2%2Cm%3A0%2Bt%3A80%2Bf%3A!2%2Cm%3A1%2Bt%3A2%2Bf%3A!2%2Cm%3A1%2Bt%3A23%2Bf%3A!2%2Cm%3A0%2Bt%3A7%2Bf%3A!2%2Cm%3A1%2Bt%3A3%2Bf%3A!2&fields=f12%2Cf14%2Cf2%2Cf3%2Cf62%2Cf184%2Cf66%2Cf69%2Cf72%2Cf75%2Cf78%2Cf81%2Cf84%2Cf87%2Cf204%2Cf205%2Cf124%2Cf1%2Cf13

1)协议的类型  
2)主机名称/域名   
3)端口号   
4)查找路径
5)查询参数
6)锚点，前端用来做面定位的
●URI：统一资源标识符Uniform Resource ldentifier ，是一个用于标识某一互联网资源名称的字符串

三、请求方式

●在HTTP协议中，定义了八种请求方式。常见的有get请求与post
请求
1、get请求：一般情况下，只从服务器获取数据下来，并不会对服务器资源产生任何影响的时候会使用get请求。

2、post请求：向服务器发送数据(登录)、上传文件等，会对服务器资源产生影响的时候会使用post请求。

四、常见的请求头参数
●http协议中，向服务器发送一个请求，数据分为三部分
第一个是把数据放在url中
第二个是把数据放在body中(post请求时)
第三个就是把数据放在head中
●常见的请求头参数
user-agent：浏览器名称
referer：表明当前这个请求是从哪个url过来的
cookie：http协议是无状态的。也就是同一个人发送了两次请求。服务器没有能力知道这两个请求是否来自同一个人。
五、常见的响应状态码
●200:请求正常，服务器正常的返回数据
●301: 永久重定向
●404: 请求的url在服务器上找不到，换句话说就是请求的url错误
●418:发送请求遇到服务器端反爬虫，服务器拒绝响应数据
●500:服务器内部错误，可能是服务器出现了bug
六、HTTP请求的交互过程
(1)客户端浏览器向网站所在的服务器发送一个请求
(2)网站服务器接收到这个请求后进行解析、处理，然后返回响应对应的数据给浏览器
(3)浏览器中包含网页的源代码等内容(存在浏览器的缓存中)浏览器再对其进行解析，最终将结果呈现给用户

七、Cookie
●Cookie是由服务端生成后发送给客户端(通常是浏览)，Cookie总 是保存在客户端
●Cookie的基本原理
(1)创建Cookie
(2)设置存储Cookie
(3)发送Cookie
(4)读取Cookie

八、JSON
●JavaScript ObjectNotation, JS对象标记)是一种轻量级的数据交互格式，采用完全独立于编程语言的文本格式来存储和表示数据。
●简洁和清晰的层次结构使得JSON成为理想的数据交换语言，易于阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。
●JSON的数据格式
(1) 对象表示为键值对
(2) 数据由逗号分隔
(3) 花括号保存对象
(4) 方括号保存数组
●在数据结构上，JSON与Python里的字典非常相似

九、发送请求-Request请求
●Request
●如果在请求中需要加入headers (请求头)、指定请求方式等信息，那么就可以利用更加大的Request来构建一个请求。
●语法
request(url, data= None, headers={}, method=None)

十、openpyxl模块的简介
可以读取和写入Excel文件，需要单独安装，不包含有Python标准模块里，处理Excel数据，处理Excel公式，处理Exce|样式，在表格内插入图表。

Python操作Excel文件
向Excel文件中写入数据：
(1)创建工作薄对象openpyxl.Workbook()
(2)获取活动工作表对象wb.active
(3)获取单元格sheet[ 单元格名称]
(4)向单元格中写入数据cell.value=值
(5)向Exce|中写入一行数据sheet.append(列表)
(6)保存Excel文件wb.save(文件)