python分布式爬虫中的celery用法总结

804次阅读
没有评论

python分布式爬虫中的celery用法总结

作为一个各方面功能较为不错的框架来说,想要学习celery的小伙伴也比较多。这里小编先整理了celery几个使用的方面,让大家学习之后有一个初步的了解,对下一步的深入学习也打下好的知识基础。那么,在python分布式爬虫中,celery的使用有哪些?它的架构又是怎样的呢?让我们一起往下看:

1. broker:翻译过来叫做中间人。它是一个消息传输的中间件,可以理解为一个邮箱。每当应用程序调用celery的异步任务的时候,会向broker传递消息,而后celery的worker将会取到消息,执行相应程序。这其实就是消费者和生产者之间的桥梁。

2. backend: 通常程序发送的消息,发完就完了,可能都不知道对方时候接受了。为此,celery实现了一个backend,用于存储这些消息以及celery执行的一些消息和结果。

3. worker: Celery类的实例,作用就是执行各种任务。注意在celery3.1.25后windows是不支持celery worker的!

4. producer: 发送任务,将其传递给broker

5. beat: celery实现的定时任务。可以将其理解为一个producer,因为它也是通过网络调用定时将任务发送给worker执行。注意在windows上celery是不支持定时任务的!

下面是关于celery的架构示意图,结合上面文字的话应该会更好理解

 

python分布式爬虫中的celery用法总结

对celery几个使用方法还记不清的小伙伴,可以结合我们上面的架构图一起理解记忆,本篇的内容不是太难,相信大家都能成功使用celery。

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-05-21发表,共计654字。
新手QQ群:570568346,欢迎进群讨论 Python51学习