python爬虫中celery如何进行定时操作

482次阅读
没有评论

python爬虫中celery如何进行定时操作

使用定时功能对于我们想要快速获取某个数据来说,是一个非常好的方法。这样我们就不用苦苦守在电脑屏幕前,只为蹲到某个想要的东西。在之前我们已经讲过time函数进行定时操作,这算是time函数的比较基础的一个用法了。其实定时功能同样可以用celery实现,具体的方法我们往下看:

爬虫由于其特殊性,可能需要定时做增量抓取,也可能需要定时做模拟登陆,以防止cookie过期,而celery恰恰就实现了定时任务的功能。在上述基础上,我们将`tasks.py`文件改成如下内容

from celery import Celery
app = Celery('add_tasks', broker='redis:''//223.129.0.190:6379/2', backend='redis:''//223.129.0.190:6379/3')
app.conf.update(
   #  配置所在时区
    CELERY_TIMEZONE='Asia/Shanghai',
    CELERY_ENABLE_UTC=True,
    #  官网推荐消息序列化方式为json
    CELERY_ACCEPT_CONTENT=['json'],
    CELERY_TASK_SERIALIZER='json',
    CELERY_RESULT_SERIALIZER='json',
   # 配置定时任务
    CELERYBEAT_SCHEDULE={
        'my_task': {
            'task': 'tasks.add',  # tasks.py模块下的add方法
            'schedule': 60,      # 每隔60运行一次
            'args': (23, 12),
        }
    }
)
@app.task
def add(x, y):
return x + y

 

然后先通过`ctrl+c`停掉前一个worker,因为我们代码改了,需要重启worker才会生效。我们再次以`celery -A tasks worker -l info`这个命令开启worker。

这个时候我们只是开启了worker,如果要让worker执行任务,那么还需要通过beat给它定时发送,我们再开一个命令行,切换到项目根目录,通过

celery beat -A tasks -l info
celery beat v3.1.25 (Cipater) is starting.
 
__ - ... __ - _
 
Configuration ->
 
. broker -> redis://223.129.0.190:6379/2
 
. loader -> celery.loaders.app.AppLoader
 
. scheduler -> celery.beat.PersistentScheduler
 
. db -> celerybeat-schedule
 
. logfile -> [stderr]@%INFO
 
. maxinterval -> now (0s)
 
[2017-05-19 15:56:57,125: INFO/MainProcess] beat: Starting...

 

这样就表示定时任务已经开始运行了。python实现定时器的实现方式

今天的celery在python爬虫中进行定时操作的讲解到这里就结束了,当然在python中除了我们之前和今天讲过的,还有很多其他定时的方法,小伙伴们可以自行挖掘一下。

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-05-21发表,共计1475字。
新手QQ群:570568346,欢迎进群讨论 Python51学习