python3爬虫如何搭建多线程环境

440次阅读
没有评论

python3爬虫如何搭建多线程环境

这几天关于多线程大大小小的优势与不足的地方,小伙伴们也大致了解到了,想必很多人都下决心一定要用好多线程这个模块。在开始进行各种操作之前,我们需要先把多线程所要使用的环境先搭建好,为了照顾python初学者,小编经过筛选出了最简单,代码最简洁的方法,相信小伙伴们一看就可以学习。那么到底怎么搭建多线程环境呢?让我们往下看:

 

开发环境:

ubuntu16.04,python3.6,bs4,virtualenv(虚拟环境)

 

创建虚拟环境:

创建项目文件夹,并为项目创建虚拟环境,利用pip安装相关包

mkdir mutiThreadCrawier
cd  mutiThreadCrawier
mkdir content #存爬下来的页面
virtualenv env --python =python3.6 #创建虚拟环境
source env/bin/activate   #使虚拟环境生效

 

导包:

import time
import re
import threading
import urllib
import requests
from bs4 import BeautifulSoup

 

以上的三个代码经过小编测试都是没有问题的,小伙伴们可以直接拿去搭建。如果有不怕麻烦的,也可以尝试其他不同的搭建方法。

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-05-23发表,共计543字。
新手QQ群:570568346,欢迎进群讨论 Python51学习