python多进程执行方法apply_async使用说明_Python

python多进程执行方法apply_async使用说明

2021-09-15 00:09yyyyyyyyyyang Python

这篇文章主要介绍了python多进程执行方法apply_async使用说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

apply_async简介

python在同一个线程中多次执行同一方法时，该方法执行耗时较长且每次执行过程及结果互不影响，如果只在主进程中执行，效率会很低，因此使用multiprocessing.Pool(processes=n)及其apply_async()方法提高程序执行的并行度从而提高程序的执行效率,其中processes=n为程序并行执行的进程数。

apply_async使用简明代码

				?

									import multiprocessing

									#method为多次调用的方法

									def method(param):

									 pass

									if __name__ == '__main__':

									 pool = multiprocessing.Pool(processes=5)

									 params= ['param1', 'param2', 'param3', 'param4', 'param5']

									 for param in params:

									  pool.apply_async(method, args=(param, )) 

									 pool.close()

使用总结：

apply_async是异步非阻塞式，不用等待当前进程执行完毕，随时跟进操作系统调度来进行进程切换，即多个进程并行执行，提高程序的执行效率。

补充：记录python multiprocessing Pool的map和apply_async方法

遇到的问题

在学习python多进程时，进程上运行的方法接收多个参数和多个结果时遇到了问题，现在经过学习在这里总结一下

Pool.map()多参数任务

在给map方法传入带多个参数的方法不能达到预期的效果，像下面这样

				?

									def job(x ,y):

									 return x * y

									if __name__ == "__main__":

									 pool = multiprocessing.Pool()

									 res = pool.map(job, 2, 3)

									 print res

所以只能通过对有多个参数的方法进行封装，在进程中运行封装后的方法如下

				?

									def job(x ,y):

									 return x * y

									def job1(z):

									 return job(z[0], z[1])

									if __name__ == "__main__":

									 pool = multiprocessing.Pool()

									 res = pool.map(job1, [(2, 3), (3, 4)])

									 print res

这样就能达到传递多个参数的效果

ps：如果需要得到多个结果可以传入多个元组在一个列表中

Pool.apply_async()输出多个迭代结果

在使用apply_async()方法接收多个参数的方法时，在任务方法中正常定义多个参数，参数以元组形式传入即可

但是给apply_async()方法传入多个值获取多个迭代结果时就会报错，因为该方法只能接收一个值，所以可以将该方法放入一个列表生成式中，如下

				?

									def job(x):

									 return x * x

									if __name__ == "__main__":

									 pool multiprocessing.Pool()

									 res = [pool.apply_async(target=job, (i,)) for i in range(3)]

									 print [r.get() for r in res]