python爬虫如何定时获取网页数据

2,089次阅读
没有评论

python爬虫如何定时获取网页数据

每天都在更新文章的小编,也有固定的人数前来阅读文章了。有些小伙伴想要定时的查看小编所写的文章,有没有什么简便的方法呢?我们在python中,有三种方法可以实现定时操作,今天小编就教大家其中的一个:time函数。这个函数也是我们的老伙伴的,作为基础知识点,大家都不陌生,那么具体结合python爬虫如何实现定时呢?

在代码方面,我们用time函数表明想要查取的时间间隔和截止时间就可以了。

#!/usr/bin/python3
# -*- coding: utf-8 -*-
import requests
from  bs4 import BeautifulSoup
import time
from datetime import datetime
#请求数据

def get_data():
    #Headers 里面大小写均可
    url = ''
    headers={'Users-Agent':"Mozilla/5.0(X11;Ubuntu;Linux )x86_64;rv:52.0)Gecko/20100101 Firefox/52.0"}
    data=requests.get(url,headers=headers)
    # print(data.text)
    #解析数据
    soup=BeautifulSoup(data.text,'html.parser')
    print(datetime.now(),soup)
    return soup
if __name__ == '__main__':
    get_data()

while True:
    if datetime.now() < datetime(2018, 9,8, 23, 59, 59):  # 查询截止时间为2018-9-8 23:59:59
        get_data()
        time.sleep(600)  # 每隔一个小时查询一次
    else:
        print("已到截止时间,停止取数。")
        break

如果还是其他想要规定的数据,小伙伴们也可以扩充一下代码的功能。相信有了这项定时功能,想要文章的小伙伴就不会错过啦。

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-05-23发表,共计935字。
新手QQ群:570568346,欢迎进群讨论 Python51学习