多个数据如何用python中的多线程处理

430次阅读
没有评论

多个数据如何用python中的多线程处理

当我们好不容易获取了一些数据时,想要进行处理的话,通常我们的python小白会选择for循环语句,毕竟这是我们入门时候就接触了的。当然这种方法是可行的,对于没有过多接触python模块的小伙伴们来说已经非常棒了。不过,小编今天推荐大家使用我们最近学习的python爬虫中的多线程进行解决,在时间效率方面非常节约。

 

第一步:import threading 模块

import threading

第二步:改下一下代码:

 

既可以同时打开并运行多个文件

import operator
import csv
import time
import threading
from time import ctime
 
def read_file(filpos,i):
    with open(filpos+str(i)+".csv") as f:
        reader=csv.reader(f)
        for i in reader:
            print(i)
 
threads = []
x=0
for t in range(0,3):
    t= threading.Thread(target=read_file,args=("D:/zhihu/",x))
    threads.append(t)
    x+=1
#join在里面时候只有第一个子进程结束才能打开第二个进程,if__name__ 调用时不可用
if __name__=="__main__":
    for thr in threads:
        thr.start()
    thr.join()
print("all over %s"%ctime())

就是把文件添加到线程池里面,再一起执行。

 

通过以上多线程的代码,我们能比使用for循环节约大量的等待时间,小伙伴们还不心动吗?具体的好处还是需要小伙伴们自己动手才能体会。

 

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-05-23发表,共计800字。
新手QQ群:570568346,欢迎进群讨论 Python51学习