爬虫火呀，太火了，什么行业都能对于爬虫唠两句，不管他实际上会不会，反正知道这么个东西，就能唠出来，那么我们作为一个行内人，不得比他那啥嘛，今天开始整理python爬虫系列的内容，以前总是用到什么，查什么，这次正好从头到尾再梳理下。

1、环境准备

• windows/MAC电脑一台（我这里用windows演示）；
• pycharm软件一个（我是2020版本的，其他版本均可，推荐大于等于我的版本）；
• python3.9（正常来说3.* 的版本都是OK的）。

2、安装基础环境

如果你安装过程有问题，随时和我沟通就行。

安装什么呢？就是​​pycharm​​​和​​python​​咯；

其实安装过程都不应该有问题，无非是找软件的时候可能麻烦点儿，那我这边直接提供下软件包，就应该没啥问题，至于说pycharm的激活码，这个东西如果说不想花钱的，那么直接百度查吧，网上一堆一堆的，多试几次就好了。

pycharm和python软件包获取下载地址：公众号（运维家）后台回复：爬虫基础软件包，即可获取下载地址。

3、windows安装虚拟环境virtualenv（可选）

举个例子，比如说你的电脑或者服务器上有较多个python环境，或者你需要一个特定的python版本，这个时候就可以使用虚拟环境，如果你只有这一个环境，就可以不进行配置，所以说是可选的。

打开cmd命令行，执行如下命令；

PS C:Users22768> pip -V # 查看pip版本
pip 22.0.4 from d:pythonlibsite-packagespip (python 3.9) # 如果版本太老了，就进行升级，迄今为止最新版本是22.0.4，我刚升级的
PS C:Users22768> pip install –upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple # 使用这个命令进行升级

添加 -i 参数是指定了国内的清华源，国外的还是太慢了。

安装virtualenv；

PS C:Users22768> pip install virtualenv -i https://pypi.tuna.tsinghua.edu.cn/simple
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Collecting virtualenv
Downloading https://pypi.tuna.tsinghua.edu.cn/packages/9e/34/e86fc6a8f84329b49321a532b3c1fef103c67765df957fbb3852eea39d00/virtualenv-20.14.1-py2.py3-none-any.whl (8.8 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 8.8/8.8 MB 3.8 MB/s eta 0:00:00
Collecting distlib<1,>=0.3.1
Downloading https://pypi.tuna.tsinghua.edu.cn/packages/ac/a3/8ee4f54d5f12e16eeeda6b7df3dfdbda24e6cc572c86ff959a4ce110391b/distlib-0.3.4-py2.py3-none-any.whl (461 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 461.2/461.2 KB 3.6 MB/s eta 0:00:00
Collecting filelock<4,>=3.2
Downloading https://pypi.tuna.tsinghua.edu.cn/packages/cd/f1/ba7dee3de0e9d3b8634d6fbaa5d0d407a7da64620305d147298b683e5c36/filelock-3.6.0-py3-none-any.whl (10.0 kB)
Requirement already satisfied: six<2,>=1.9.0 in d:pythonlibsite-packages (from virtualenv) (1.16.0)
Collecting platformdirs<3,>=2
Downloading https://pypi.tuna.tsinghua.edu.cn/packages/ed/22/967181c94c3a4063fe64e15331b4cb366bdd7dfbf46fcb8ad89650026fec/platformdirs-2.5.2-py3-none-any.whl (14 kB)
Installing collected packages: distlib, platformdirs, filelock, virtualenv
Successfully installed distlib-0.3.4 filelock-3.6.0 platformdirs-2.5.2 virtualenv-20.14.1
PS C:Users22768>
C:Users22768>pip list | find /i “virtual” # 查看是否安装成功
virtualenv 20.14.1

C:Users22768>

4、配置虚拟环境（可选）

（1）创建虚拟环境

C:Users22768>virtualenv yunweijia # 创建一个名为yunweijia的虚拟环境
created virtual environment CPython3.9.1.final.0-64 in 750ms
creator CPython3Windows(dest=C:Users22768yunweijia, clear=False, no_vcs_ignore=False, global=False)
seeder FromAppData(download=False, pip=bundle, setuptools=bundle, wheel=bundle, via=copy, app_data_dir=C:Users22768AppDataLocalpypavirtualenv)
added seed packages: pip==22.0.4, setuptools==62.1.0, wheel==0.37.1
activators BashActivator,BatchActivator,FishActivator,NushellActivator,PowerShellActivator,PythonActivator

C:Users22768>cd yunweijia # 切换到yunweijia的目录

C:Users22768yunweijia>dir # 查看该目录下的内容
驱动器 C 中的卷是 Windows
卷的序列号是 08FA-AB66

C:Users22768yunweijia 的目录

2022-05-10 22:06 <DIR> .
2022-05-10 22:06 <DIR> ..
2022-05-10 22:06 42 .gitignore
2022-05-10 22:06 <DIR> Lib
2022-05-10 22:06 229 pyvenv.cfg
2022-05-10 22:06 <DIR> Scripts
2 个文件 271 字节
4 个目录 63,697,027,072 可用字节

C:Users22768yunweijia>

（2）启动与停止虚拟环境

C:Users22768yunweijia>cd Scripts # 进入虚拟环境

C:Users22768yunweijiaScripts>activate.bat # 启动虚拟环境

(yunweijia) C:Users22768yunweijiaScripts>deactivate # 退出虚拟环境
C:Users22768yunweijiaScripts>

5、pycharm配置虚拟环境

打开pycharm之后，界面如下；

剩余内容请转至VX公众号 “运维家” ，回复 “164” 查看。

—— “运维家” ，回复 “164” ——
—— “运维家” ，回复 “164” ——
—— “运维家” ，回复 “164” ——
重庆安全运维工程师入行门槛低，运维监理工程师是做什么的，大连找工作运维工程师，系统运维工程师工作计划的编写，系统运维工程师学习课程，适合运维工程师的兼职，信息运维工程师绩效考核表，高级运维工程师薪资待遇，风电运维工程师连体工作服，运维工程师的sql面试题，it运维工程师问题，运维工程师应具备什么技能，运维工程师列常检测什么，国投电力初级运维工程师，运维工程师日常照片，华北电力运维工程师是做什么的，网络工程师辛苦吗电商运维工作，电气工程师运维月薪，运维工程师百度，运维工程师相关的书。

​