python分布式爬虫中的搭建celery框架

863次阅读
没有评论

python分布式爬虫中的搭建celery框架

我们在构建一个框架之前,首先考虑的是用这个框架做些什么,能不能让这个框架尽可能的实现更多的功能操作。在思考完了这些问题后,我们对框架的搭建已经有了初步的模型考量。今天就python分布式爬虫中另一个celery框架的搭建方法为大家进行讲解,较之前的两个框架比较来说,功能使用上更加广泛。

celery典型的分布式任务队列,常用于异步操作中,如tornado、Django的异步任务中,用celery设计分布式爬虫系统,往往结合网络框架,打造一个爬虫任务接口,提供给其他人使用。

同时celery在定时任务方面有着优势,只需要在配置文件中设置一下,就可以定期执行任务,不必自己写定时操作。

celery使用消息中间件,而这个消息中间件,可以使用Redis也可以使用RabbitMQ,但他的调度不必担心,已经封装。

主程序示例:

# -*- coding:utf-8 -*-
from celery import Celery
 
app = Celery("tasks")
app.config_from_object("celeryconfig")  # 指定配置文件
 
 
@app.task
def taskA(x, y):
    return x + y
 
 
@app.task
def taskB(x, y, z):
    return x + y + z
 
 
@app.task
def add(x, y):
    return x + y

 

以上只是celery框架在python分布式爬虫中搭建中的一个步骤,让小伙伴们体验一下搭建celery框架的感觉。有兴趣的小伙伴可以搜集相关的资料,完成整体elery框架的搭建。python爬虫celery如何安装

 

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-05-22发表,共计718字。
新手QQ群:570568346,欢迎进群讨论 Python51学习