不知道大家有没有发现,我们一直赖以自豪,灵活使用的框架scrapy,在某些平台上已经不能使用了,这样我们如果在碰到要做分布式的时候,要怎么处理呢?想了想求人不如做自己,我们要自己去涉及一个机构出来,想法怎么样?毕竟软件都是自己创造出来的,大家可以考虑怎么去设计,行啦,都一起来试试吧~
以下是架构设计。需要考虑内容有:
l 系统环境的选择
l 代码环境的编写
l 需要的安装包
l 还有服务器
理清楚思路以后,我们就正式开始吧~
系统环境:ubuntu20系统
代码环境:Python3.6
需要安装的Python包:
grequest 、pyquery 、pymysql、 pymon、goredis
需要安装的软件有:redis、mongodb
这样以后,我们在整理出流程图,就可以啦~
好啦,正在学习的理工男们,都搞懂了嘛?需要注意的是,可能会会存在两个不同参数的模糊查询返回的结果会有相同的值,先给大家打个预防针,注意避免哦~更多学习内容。
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试