Python多进程共享numpy 数组的方法_Python

Python多进程共享numpy 数组的方法

2021-12-16 00:24Hello_BeautifulWorld Python

这篇文章主要介绍了Python多进程共享numpy 数组的方法，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

为什么要用numpy

    Python中提供了list容器，可以当作数组使用。但列表中的元素可以是任何对象，因此列表中保存的是对象的指针，这样一来，为了保存一个简单的列表[1,2,3]。就需要三个指针和三个整数对象。对于数值运算来说，这种结构显然不够高效。
    Python虽然也提供了array模块，但其只支持一维数组，不支持多维数组(在TensorFlow里面偏向于矩阵理解)，也没有各种运算函数。因而不适合数值运算。
    NumPy的出现弥补了这些不足。

引用：https://zhuanlan.zhihu.com/p/32513483

共享 numpy 数组

需要用到 numpy 时往往是数据量较大的场景，如果直接复制会造成大量内存浪费。共享 numpy 数组则是通过上面一节的 Array 实现，再用 numpy.frombuffer 以及 reshape 对共享的内存封装成 numpy 数组，代码如下：

				?

									# encoding:utf8

									import ctypes

									import os

									import multiprocessing

									import numpy as np

									NUM_PROCESS = multiprocessing.cpu_count()

									def worker(index):

									    main_nparray = np.frombuffer(shared_array_base, dtype=ctypes.c_double)

									    main_nparray = main_nparray.reshape(NUM_PROCESS, 10)

									    pid = os.getpid()

									    main_nparray[index, :] = pid

									    return pid

									if __name__ == "__main__":

									    shared_array_base = multiprocessing.Array(

									        ctypes.c_double, NUM_PROCESS * 10, lock=False)

									    pool = multiprocessing.Pool(processes=NUM_PROCESS)

									    result = pool.map(worker, range(NUM_PROCESS))

									    main_nparray = np.frombuffer(shared_array_base, dtype=ctypes.c_double)

									    main_nparray = main_nparray.reshape(NUM_PROCESS, 10)

									    print( main_nparray )