cuda状态监控命令

(1) fuser -v /dev/nvidia* (加上sudo)：查看所有用户下正在执行的cuda进程
(如果提示没有fuser命令，则先执行：sudo apt-get install psmisc)

1.png

(2) nvidia-smi (加上sudo)：查看cuda相关信息（非动态）
（https://blog.csdn.net/weixin_44472932/article/details/123856278；https://juejin.cn/post/7018438695653113869）

2.png

(3) watch -n 0.5 nvidia-smi (加上sudo) 或 nvidia-smi -l x(指定间隔多少秒)：每隔0.5秒刷新一次cuda信息（动态），实时监测cuda情况；
（网上说：不建议使用watch查看nvidia-smi，watch每个时间周期开启一个进程(PID)，查看后关闭进程，会影响cuda操作）

(4) py3smi：另一种查看cuda使用情况的命令。（需先安装：pip3 install py3nvml）

4.png

(5) kill -9 3652309 3650384(加上sudo)（3652309和3650384是PID号，进程号）：杀死对应进程