当我们好不容易获取了一些数据时,想要进行处理的话,通常我们的python小白会选择for循环语句,毕竟这是我们入门时候就接触了的。当然这种方法是可行的,对于没有过多接触python模块的小伙伴们来说已经非常棒了。不过,小编今天推荐大家使用我们最近学习的python爬虫中的多线程进行解决,在时间效率方面非常节约。
第一步:import threading 模块
import threading
第二步:改下一下代码:
既可以同时打开并运行多个文件
import operator import csv import time import threading from time import ctime def read_file(filpos,i): with open(filpos+str(i)+".csv") as f: reader=csv.reader(f) for i in reader: print(i) threads = [] x=0 for t in range(0,3): t= threading.Thread(target=read_file,args=("D:/zhihu/",x)) threads.append(t) x+=1 #join在里面时候只有第一个子进程结束才能打开第二个进程,if__name__ 调用时不可用 if __name__=="__main__": for thr in threads: thr.start() thr.join() print("all over %s"%ctime())
就是把文件添加到线程池里面,再一起执行。
通过以上多线程的代码,我们能比使用for循环节约大量的等待时间,小伙伴们还不心动吗?具体的好处还是需要小伙伴们自己动手才能体会。
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试