GPU排队脚本实现空闲触发python脚本实现示例_Python

GPU排队脚本实现空闲触发python脚本实现示例

2022-02-22 13:00木盏 Python

有的服务器是多用户使用，GPU的资源常常被占据着，很可能在夜间GPU空闲了，但来不及运行自己的脚本。如果没有和别人共享服务器的话，自己的多个程序想排队使用GPU，也可以用这个脚本

今天写了一个GPU排队脚本，事实上还是挺实用的。有的服务器是多用户使用，GPU的资源常常被占据着，很可能在夜间GPU空闲了，但来不及运行自己的脚本。如果没有和别人共享服务器的话，自己的多个程序想排队使用GPU，也可以用这个脚本。环境非常简单，有python就行了：

python3.7

ubuntu16.04

先创建脚本：

				?

									vim narrow_setup.py

cmd = 'python xxx.py'这句可以设置你要运行的python脚本

				?

									# author: muzhan

									# contact: levio.pku@gmail.com

									import os

									import sys

									import time 

									cmd = 'python ~/hehe.py'

									def gpu_info():

									    gpu_status = os.popen('nvidia-smi | grep %').read().split('|')

									    gpu_memory = int(gpu_status[2].split('/')[0].split('M')[0].strip())

									    gpu_power = int(gpu_status[1].split('   ')[-1].split('/')[0].split('W')[0].strip())

									    return gpu_power, gpu_memory 

									def narrow_setup(interval=2):

									    gpu_power, gpu_memory = gpu_info()

									    i = 0

									    while gpu_memory > 1000 or gpu_power > 20:  # set waiting condition

									        gpu_power, gpu_memory = gpu_info()

									        i = i % 5

									        symbol = 'monitoring: ' + '>' * i + ' ' * (10 - i - 1) + '|'

									        gpu_power_str = 'gpu power:%d W |' % gpu_power

									        gpu_memory_str = 'gpu memory:%d MiB |' % gpu_memory

									        sys.stdout.write('\r' + gpu_memory_str + ' ' + gpu_power_str + ' ' + symbol)

									        sys.stdout.flush()

									        time.sleep(interval)

									        i += 1

									    print('\n' + cmd)

									    os.system(cmd) 

									if __name__ == '__main__':

									    narrow_setup()