资讯详情

[常用工具] 基于psutil和GPUtil获取系统状态信息

本文主要介绍Python3中利用psutil库获取系统状态,利用GPUtil获取gpu状态。

psutil (process and system utilities)(流程和系统实用程序)是跨平台库Python检索运行过程和系统利用率(CPU、内存、磁盘、网络、传感器)信息。它实现了经典UNIX命令行工具提供的许多功能,如ps、top、iotop、lsof、netstat、ifconfig、free等。psutil目前支持windows,linux,macOS等待主流系统平台。本文主要介绍psutil中常用函数。pstuil安装代码如下:

pip install psutil

psutil官方仓库见psutil。

GPUtil是一个Python使用模块nvidia smi从NVIDA GPU获取GPU状态。GPUtil在计算机上定位一切GPU,确定其可用性并返回可用性GPU有序列表。GPUtil安装代码如下:

pip install gputil

GPUtil官方仓库见gputil。

文章目录

  • 1 psutil的使用
    • 1.1 CPU状态
    • 1.2 内存状态
    • 1.3 磁盘状态
    • 1.4 网络状态
    • 1.5 传感器状态
    • 1.6 进程状态
    • 1.7 其他状态
  • 2 GPUtil的使用
    • 2.1 GPU的ID获取
    • 2.2 GPU信息读取
  • 3 参考

1 psutil的使用

1.1 CPU状态

# 导入库 import psutil 
# 返回系统CPU时间。代表每个属性CPU在给定模式下花费的秒数。属性可用性因平台而异。 # percpu表示是否返回单个cpu的花费时间 # 主要返回参数有: # user:在用户模式下执行正常过程所花费的时间; Linux 还包括访客时间 # system:在核心模式下执行过程所需的时间 # idle:空闲的时间 psutil.cpu_times(percpu=False) 
scputimes(user=7627895.98, nice=4419.62, system=1704625.93, idle=249261020.67, iowait=75386.74, irq=0.0, softirq=36410.5, steal=0.0, guest=0.0, guest_nice=0.0) 
# 返回用户、系统和空闲使用的百分比cpu时间 psutil.cpu_times_percent(percpu=False) 
scputimes(user=0.2, nice=0.0, system=0.0, idle=99.8, iowait=0.0, irq=0.0, softirq=0.0, steal=0.0, guest=0.0, guest_nice=0.0) 
# 返回表示当前系统CPU浮点值利用率百分比 # interval=1比较1s内CPU利用率 psutil.cpu_percent(interval=1) 
0.5 
# 当interval=None(默认为None)自上次调用或模块导入以来,该系统一直以来CPU利用率 psutil.cpu_percent(interval=None) 
5.1 
# 当percpu为True返回浮点列表,表示每个CPU利用率百分比 # psutil.cpu_percent(interval=1, percpu=True) 
# 返回逻辑cpu物理内核数乘以每个数量cpu能在核心上运行的线程数) psutil.cpu_count(logical=True) 
64 
# 返回物理cpu的数量 psutil.cpu_count(logical=False) 
16 
# 返回CPU 频率,包括当前、最小和最大频率,Mhz表示。 psutil.cpu_freq()/span> 
scpufreq(current=2599.998000000001, min=0.0, max=0.0)

1.2 内存状态

# 返回有关系统内存使用情况的统计信息,以字节表示。主要返回参数有:
# total: 内存总量
# available:可用内存
# used: 已用内存
# free:完全没有使用的内存,在windows系统同等于available
# percent:已用内存比例,计算方式为(total - available) / total * 100
psutil.virtual_memory()
svmem(total=541061697536, available=530528514048, percent=1.9, used=7251107840, free=249252380672, active=28388438016, inactive=247208853504, buffers=7200718848, cached=277357490176, shared=56004608, slab=15238979584)
# 打印内存使用比例
print(psutil.virtual_memory().percent)
1.9
# 通过数值计算指标
mem = psutil.virtual_memory()
# 已使用和可用的总和不一定等于总和,所以计算方式看自己选择。
print(mem.used/mem.total*100)
# 实际psutil计算方式
print(100-mem.available/mem.total*100)
1.3401628452026104
1.94676199331208
# 返回系统交换内存统计信息
psutil.swap_memory()
sswap(total=0, used=0, free=0, percent=0.0, sin=0, sout=0)

1.3 磁盘状态

 # 返回磁盘分区情况
 # psutil.disk_partitions() 
# 返回包含给定路径的分区的磁盘使用率统计信息,以字节表示,主要返回参数有:
# total:总空间
# used:已用空间
# free:可用空间
# percent:使用率百分比,计算方式为used / total * 100
psutil.disk_usage('./')
sdiskusage(total=4363237892096, used=2180849664, free=4141137940480, percent=0.1)
# 返回系统范围的磁盘输入/输出统计信息,主要返回参数有:
# read_count: 读取次数
# write_count: 写入次数
# read_bytes: 读取的字节数
# write_bytes: 写入的字节数
psutil.disk_io_counters()
sdiskio(read_count=19240910, write_count=60524213, read_bytes=3411362631680, write_bytes=7641118547968, read_time=89751300, write_time=1571245636, read_merged_count=15, write_merged_count=44291429, busy_time=73232832)

1.4 网络状态

# 返回网络io统计信息,主要返回参数包括收发字节数、收发包数等。
psutil.net_io_counters()
snetio(bytes_sent=6606245, bytes_recv=7806674, packets_sent=22430, packets_recv=32301, errin=0, errout=0, dropin=0, dropout=0)
# 返回每个网卡接口的网络统计信息
psutil.net_io_counters(pernic=True)
{'lo': snetio(bytes_sent=2535762, bytes_recv=2535762, packets_sent=6513, packets_recv=6513, errin=0, errout=0, dropin=0, dropout=0),
 'eth1': snetio(bytes_sent=740299, bytes_recv=1362457, packets_sent=9909, packets_recv=18518, errin=0, errout=0, dropin=0, dropout=0),
 'eth0': snetio(bytes_sent=3339973, bytes_recv=3913748, packets_sent=6022, packets_recv=7282, errin=0, errout=0, dropin=0, dropout=0)}
# 返回网络的连接信息
# psutil.net_connections()
# 返回网卡配置信息
# psutil.net_if_addrs()
# 返回网卡的具体信息
psutil.net_if_stats()
{'lo': snicstats(isup=True, duplex=<NicDuplex.NIC_DUPLEX_UNKNOWN: 0>, speed=0, mtu=65536),
 'eth1': snicstats(isup=True, duplex=<NicDuplex.NIC_DUPLEX_FULL: 2>, speed=10000, mtu=1500),
 'eth0': snicstats(isup=True, duplex=<NicDuplex.NIC_DUPLEX_UNKNOWN: 0>, speed=65535, mtu=1500)}

1.5 传感器状态

# 返回硬件温度,如果没有温度传感器返回空值,有些系统和版本没有该函数
psutil.sensors_temperatures()
{}
# 返回硬件风扇速度,有些系统和版本没有该函数
psutil.sensors_fans()
{}
# 返回电池信息,比如剩余电量
psutil.sensors_battery()

1.6 进程状态

进程状态的函数很多,具体可以看看psutil的官方仓库

# 正在运行进程的pid
psutil.pids()
[1, 8, 9, 34, 70, 71, 91, 6873]
# 返回当前进程信息
# 返回值:进程pid,进程名,进程状态
psutil.Process()
psutil.Process(pid=6873, name='python', status='running', started='19:21:01')
# 查看pid为1的进程信息
psutil.Process(1)
psutil.Process(pid=1, name='sh', status='sleeping', started='18:09:15')
# 进程是否存在
psutil.pid_exists(123)
False

1.7 其他状态

# 返回当前用户信息,包括用户名、登陆终端、host端口,登陆时间
# psutil.users()
# 返回系统启动时间,时间戳形式
# psutil.boot_time()

2 GPUtil的使用

2.1 GPU的ID获取

deviceIDs = GPUtil.getAvailable(order = ‘first’, limit = 1, maxLoad = 0.5, maxMemory = 0.5, includeNan=False, excludeID=[], excludeUUID=[])

输入参数如下:

  • order:确定返回可用GPU设备ID的顺序,可输入参数:first(升序排列),last(降序排列),random(随机选取),load(按负载递增),memory(按显存使用量递增)
  • limit:将返回的GPU设备数量限制为指定数量
  • maxLoad:负载率大于maxLoad的不会被返回
  • maxMemory:显存使用率大于maxMemory的不会被返回
  • includeNan:是否包括负载或内存使用为Nan的GPU
  • excludeID:不用于排序的GPU的id
  • excludeUUID:不用排序的GPU的uuid

返回参数如下:

  • deviceIDs: 所有可用GPU设备ID的列表,id号从0开始。
# 导入库
import GPUtil
# 获取一个可用gpu的id
deviceIDs = GPUtil.getAvailable()
deviceIDs
[0]
# 获取最后一个可用gpu的id
deviceIDs = GPUtil.getAvailable(order = 'last')
deviceIDs
[3]
# 随机获取4个可用gpu的id
deviceIDs = GPUtil.getAvailable(order = 'random', limit=4)
deviceIDs
[0, 3, 1, 2]

deviceID = GPUtil.getFirstAvailable(order = ‘first’, maxLoad=0.5, maxMemory=0.5, attempts=1, interval=900, verbose=False)

输入参数和GPUtil.getAvailable差不多,其他参数如下:

  • attempts:在放弃寻找可用GPU之前,函数应进行的尝试次数
  • interval:查找gpu的间隔
  • verbose:是否显示详细信息

返回参数如下:

  • deviceID: 一个可用GPU设备ID的列表
# 随机获取1个可用gpu的id
deviceID = GPUtil.getFirstAvailable(order = 'random')
deviceID
[1]

GPUtil.showUtilization(all=False, attrList=None, useOldCode=False)

输入参数如下:

  • all:显示GPU所有信息,如果否只显示GPU利用率和GPU显存使用率
  • interval:要显示的属性列表列表,这个要看代码
  • useOldCode:是否应使用显示GPU利用率的旧代码

该函数在命令行界面输出结果。

# 命令行打印结果
GPUtil.showUtilization(all=False, attrList=None, useOldCode=False)
| ID | GPU | MEM |
------------------
|  0 |  0% |  0% |
|  1 |  0% |  0% |
|  2 |  0% |  0% |
|  3 |  0% |  0% |

2.2 GPU信息读取

GPUs = GPUtil.getGPUs()

返回参数如下:

  • 所用可用GPU列表
import GPUtil
# 获取所有可用GPU列表,id号从0开始
GPUs = GPUtil.getGPUs()
GPUs
[<GPUtil.GPUtil.GPU at 0x7fd3142f08d0>,
 <GPUtil.GPUtil.GPU at 0x7fd3142ec390>,
 <GPUtil.GPUtil.GPU at 0x7fd3142f0f90>,
 <GPUtil.GPUtil.GPU at 0x7fd3142ecfd0>]

GPUavailability = GPUtil.getAvailability(GPUs, maxLoad = 0.5, maxMemory = 0.5, includeNan=False, excludeID=[], excludeUUID=[])

  • 输入参数:GPUs为GPU对象列表,其他参数与GPUtil.getAvailable一样
  • 返回参数:返回一个与GPUs大小相等的1和0列表,指示哪些对应的GPU可用,1表示可用,0表示不可用
GPUavailability = GPUtil.getAvailability(GPUs)
GPUavailability
[1, 1, 1, 1]

返回单个GPU的属性,GPU属性的描述来自于nvidia-smi命令。这些属性分别为:

# 获取所有可用GPU列表,id号从0开始
GPUs = GPUtil.getGPUs()
# 第0个gpu的id
GPUs[0].id
0
# 第0个gpu的负载率
GPUs[0].load
0.0
# 第1个gpu的显存
GPUs[0].memoryTotal
32510.0
# 第1个gpu的驱动版本
GPUs[1].driver
'460.32.03'
# 第2个gpu的产品名称
GPUs[2].name
'Tesla V100-SXM2-32GB'
# 最后一个gpu是否连接物理显示器
GPUs[-1].display_mode
'Enabled'

3 参考

  • psutil
  • gputil

标签: eth传感器1143

锐单商城拥有海量元器件数据手册IC替代型号,打造 电子元器件IC百科大全!

锐单商城 - 一站式电子元器件采购平台