GPU 메모리 비우기

학습을 시키다 보면 OOM이 발생하는데, 발생 후 batch_size를 줄여서 실행시키려 할 때 기존의 데이터가 GPU의 메모리를 차지하고 있다면 계속 OOM이 발생한다. 이 때 GPU의 메모리를 비우는 것이 필요한데, GPU 메모리를 확인하는 방법과 비우는 방법을 정리한다.

 

GPU 사용량 확인

기본적으로 사용량을 확인하는 명령어는 아래와 같다. 

nvidia-smi

조금 더 자세한 설명은 아래 글 참고.

리눅스에서 gpu 사용량 확인하기 (tistory.com)

리눅스에서 gpu 사용량 확인하기

 

GPU 메모리 비우기

아래 메모리 부분을 보면 모든 메모리가 꽉 차 있는 것을 볼 수 있다. 

ps 명령어를 활용해서 메모리를 차지하고 있는 프로세스를 kill 명령어를 통해 종료함으로써 메모리를 비울 수 있다.

ps aux | grep python
kill -9 [종료시킬 프로세스번호]

기존에 학습을 돌리던 명령어를 kill 명령어를 통해 종료시킨 후, GPU 메모리를 확인해보니 모두 비워진 것을 확인할 수 있다.