解决Python 进程池Pool中一些坑_Python

解决Python 进程池Pool中一些坑

2021-09-15 00:10qq_41131535 Python

这篇文章主要介绍了解决Python 进程池Pool中一些坑，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

1 from multiprocessing import Pool，Queue。

其中Queue在Pool中不起作用，具体原因未明。

解决方案：

如果要用Pool创建进程，就需要使用multiprocessing.Manager()中的Queue,

与multiprocessing中的Queue不同

				?

									q=Manager().Queue()#Manager中的Queue才能配合Pool

									po = Pool() # 无穷多进程

2 使用进程池，在进程中调用io读写操作。

例如：

				?

									p=Pool()

									q=Manager().Queue()

									with open('/home/cctv/data/stage_file/stage_{}.txt'.format(int(time.time())), 'w') as w1:

									 p.apply_async(write_json, args=(video_path, 0,0.6,w1,q,i[0],))

这样也不会完成进程，只能把w放到具体的函数里面，不能通过参数调用

补充：python3进程池pool使用及注意事项

1.在python中使用进程池主要就是为了并行处理任务，缩短运行时间

2.经常使用方法: 同步有 apply(), map();异步的有 apply_async(), map_async()

3. 先看几个小例子

				?

									import time 

									from multiprocessing import Pool 

									test = [1,2,3,4,5,6,7,8]

									def run(fn):

									 time.sleep(1)

									 return fn*fn

									s = time.time()

									for i in test:

									 run(i)

									e = time.time()

									print('直接循环 执行时间:',e - s)

									pool = Pool(8)

									s = time.time()

									for i in test: 

									 pool.apply(run, (i,))

									e = time.time()

									print('apply 执行时间:',e - s)

									pool1 = Pool(8)

									s = time.time()

									res = []

									for i in test: 

									 r = [pool1.apply_async(run, (i,))]

									 res.append(r)

									pool1.close()

									pool1.join()

									e = time.time()

									print([i.get() for i in r])

									print('apply_async 执行时间:',e - s)

									pool2 = Pool(8)

									r = pool2.map(run,test)

									pool2.close()

									pool2.join() 

									e1 = time.time()

									print(r)

									print('map执行时间:',e1 - e)

									pool3 = Pool(8)

									pool3.map_async(run,test)

									pool3.close()

									pool3.join() 

									e1 = time.time()

									print('map_async执行时间:',e1 - e)

执行结果

				?

									直接循环 执行时间: 8.004754781723022

									apply 执行时间: 8.016774654388428

									[64]

									apply_async 执行时间: 1.1128439903259277

									[1, 4, 9, 16, 25, 36, 49, 64]

									map执行时间: 1.181443452835083

									map_async执行时间: 2.3679864406585693