我们在构建一个框架之前,首先考虑的是用这个框架做些什么,能不能让这个框架尽可能的实现更多的功能操作。在思考完了这些问题后,我们对框架的搭建已经有了初步的模型考量。今天就python分布式爬虫中另一个celery框架的搭建方法为大家进行讲解,较之前的两个框架比较来说,功能使用上更加广泛。
celery典型的分布式任务队列,常用于异步操作中,如tornado、Django的异步任务中,用celery设计分布式爬虫系统,往往结合网络框架,打造一个爬虫任务接口,提供给其他人使用。
同时celery在定时任务方面有着优势,只需要在配置文件中设置一下,就可以定期执行任务,不必自己写定时操作。
celery使用消息中间件,而这个消息中间件,可以使用Redis也可以使用RabbitMQ,但他的调度不必担心,已经封装。
主程序示例:
# -*- coding:utf-8 -*- from celery import Celery app = Celery("tasks") app.config_from_object("celeryconfig") # 指定配置文件 @app.task def taskA(x, y): return x + y @app.task def taskB(x, y, z): return x + y + z @app.task def add(x, y): return x + y
以上只是celery框架在python分布式爬虫中搭建中的一个步骤,让小伙伴们体验一下搭建celery框架的感觉。有兴趣的小伙伴可以搜集相关的资料,完成整体elery框架的搭建。python爬虫celery如何安装
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试