爬虫中如何使用time记录多线程时间

467次阅读
没有评论

爬虫中如何使用time记录多线程时间

在运行程序时,除了要考虑到代码的流畅性,对于运行时间的考量也是重要的环节,相信大家都不愿意在等待程序的运行方面浪费掉时间。很多小伙伴在对函数的使用上非常感兴趣,小编也收集了一些关于函数在多线程中的使用。关于time函数的使用,正好能减少在多线程中程序运行的时间,不知道有没有小伙伴把这两个知识点联系起来,接下来我们就看看怎么操作吧。

# 顺序执行test1,test2
import time
 
def test1(arg1):
    print("启动任务1")
    print("任务1的参数为{}".format(arg1))
    time.sleep(5)
    print("结束任务1")
 
 
def test2(arg2):
    print("启动任务2")
    print("任务2的参数为{}".format(arg2))
    time.sleep(2)
    print("结束任务2")
 
 
def main():
    start_time = time.time()
    test1("ONE")
    test2("TWO")
    end_time = time.time()
    total_time = end_time - start_time
    print("所有任务结束,总耗时为:{}".format(total_time))
 
 
if __name__ == "__main__":
main()

 

这里我们顺序执行两个函数,用time.sleep()强制休息几秒钟,代替程序执行时间。然后用time.time()记录总耗时。

 

爬虫中如何使用time记录多线程时间

 

可以看到,顺序执行时,程序主要耗时在time.sleep()上,这与我们考虑的是一样的,打印语句基本不耗时间。

再来看下使用线程的执行时间。

# 同时执行test1,test2
import time
import threading
 
def test1(arg1):
    print("启动任务1")
    print("任务1的参数为{}".format(arg1))
    time.sleep(5)
    print("结束任务1")
 
def test2(arg2):
    print("启动任务2")
    print("任务2的参数为{}".format(arg2))
    time.sleep(2)
    print("结束任务2")
 
def main():
    start_time = time.time()
    t1 = threading.Thread(target=test1,args=("ONE",))
    t2 = threading.Thread(target=test2,args=("TWO",))
    t1.start()
    t2.start()
 
    # 等待两个子线程结束再结束主线程
    t1.join()
    t2.join()
 
    end_time = time.time()
    total_time = end_time - start_time
    print("所有任务结束,总耗时为:{}".format(total_time))
 
if __name__ == "__main__":
    main()

 

这里为了督促小伙伴们勤奋动手运行代码,小编暂时卖个关子不放出结果,但是两者对比后的答案是使用time函数比我们一般的运行要快了两秒,是不是很厉害呢~这种在数据量增多的时候,差距会比较明显。

 

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-05-23发表,共计1461字。
新手QQ群:570568346,欢迎进群讨论 Python51学习