[EC2 Instance] file descriptor leak issue

개요

Docker로 Airflow를 띄운 ec2 instance가 한,두달에 한번씩 ssh 접근이 불가능한 상태가 반복되었다.

AWS ec2 instance 상태는 running 상태인데 airflow가 내려가있고 ssh 접근이 안되는 것

이 서버가 무겁게 돌아가고 있어서, cpu 문제이거나 memory 문제라고 판단하여서

주기적으로 memory 사용량도 log로 기록하고, ec2 instance monitoring으로 CPU 사용률을 확인해도 뚜렷한 원인을 찾지 못했다.

 

확인

 airflow가 내려간 시점의 log를 하나하나 찾아보니

[ERR] Connection could not be made due to the following error: 
 (pymysql.err.OperationalError) (2003, "Can't connect to MySQL server on '...' ([Errno -3] Temporary failure in name resolution)")
(Background on this error at: https://sqlalche.me/e/20/e3q8)

 

어? Database 연결이 안되었다.

여기서 이사님이 바로 file descriptor 부족한거 아니냐고 말씀하셨다.

 

file descriptor를 모두 사용해버려서 ssh 접속도 안되었고, database 연결도 안되었던 것이다.

 

진행

file descriptor 개수 늘렸다

vi /etc/security/limits.conf

* hard nofile 65535
* soft nofile 65535

root hard nofile 65535
root soft nofile 65535

 

default 1024로 되어있던 값을 65535로 수정했다.

$ ulimit -Sn
65535

$ ulimit -Hn
65535

증가된 값 확인하고 instance reboot 해주었다.

 

그 후

무겁게 돌아가는 시점에 파일 수를 확인해보았다

$ cat /proc/sys/fs/file-nr
15744	0	9223372036854775807

최대 파일 수 9223372036854775807 에서 15744개 오픈되었다.

 

아주 여유있다.

계속 모니터링 해보자