지니제스트 테크 블로그 배너
지니제스트Tech Archive
IT & 테크8분 소요

리눅스 Too many open files 에러와 파일 디스크립터 증설

•
지지니제스트
•조회 5

Too many open files(EMFILE)가 날 때 ulimit -n은 넉넉한데 서비스만 1024에 막히는 이유를, 커널·프로세스 한도의 층위와 systemd LimitNOFILE·PAM limits.conf·컨테이너가 각각 어디에 적용되는지로 나눠 정리했습니다.

리눅스 Too many open files 에러와 파일 디스크립터 증설

서비스 로그에 Too many open files가 찍히는데 SSH로 들어가 ulimit -n을 쳐 보면 65535가 나옵니다. 설정은 넉넉한데 왜 막히는지 헷갈리는 상황입니다.

대부분은 내 셸의 한도와 서비스 프로세스의 한도가 다른 값이기 때문입니다. 한도는 프로세스마다 따로 붙어 있고, 그 값을 정하는 곳도 프로세스를 누가 띄웠느냐에 따라 다릅니다. 그래서 확인은 항상 셸이 아니라 문제의 프로세스에서 시작합니다.


먼저 볼 것은 프로세스의 limits

BASH
# 문제 프로세스의 PID (예: nginx 워커, java, node)
PID=$(pgrep -o -f myapp)

# 이 프로세스에 실제로 적용된 한도
grep "Max open files" /proc/$PID/limits

# 지금 열고 있는 개수
ls /proc/$PID/fd | wc -l

Max open files 줄의 첫 숫자가 soft limit, 두 번째가 hard limit입니다. 열린 개수가 soft limit에 닿아 있다면 그 프로세스의 한도 문제입니다. 오류 번호도 구분해 둡니다.

  • EMFILE(24): 프로세스 하나가 자기 한도(RLIMIT_NOFILE의 soft 값)에 닿았습니다. 대부분 이 경우입니다.
  • ENFILE(23): 시스템 전체 한도(fs.file-max)에 닿았습니다. 최근 배포판에서는 보기 드뭅니다.

시스템 전체 사용량은 /proc/sys/fs/file-nr로 봅니다. 세 숫자는 할당된 핸들 수, 쓰이지 않는 핸들 수, 최대치입니다. 두 번째 숫자는 2.6 커널부터 항상 0이고, 커널 문서도 오류가 아니라고 설명합니다.


한도는 네 겹이다

파일 디스크립터 한도는 아래처럼 겹쳐 있습니다. 안쪽 값은 바깥 값을 넘을 수 없습니다.

한도 범위 확인 방법
fs.file-max 시스템 전체 핸들 수 sysctl fs.file-max
fs.nr_open hard limit으로 줄 수 있는 최대치 sysctl fs.nr_open
hard limit 프로세스가 soft를 올릴 수 있는 천장 /proc/PID/limits
soft limit 실제로 적용되는 값 /proc/PID/limits

커널 기본값으로 fs.nr_open은 1,048,576입니다. 그런데 systemd 240부터는 부팅할 때 fs.file-max와 fs.nr_open을 커널이 허용하는 최대치까지 올려 둡니다. 파일 디스크립터 메모리는 메모리 cgroup에서 따로 계산되니 앞의 두 전역 한도는 사실상 꺼 두고, 프로세스별 soft·hard limit으로 관리하겠다는 의도입니다. 그래서 요즘 배포판에서 fs.file-max가 9223372036854775807 같은 큰 값으로 나오는 것은 정상입니다. 인터넷 예제대로 fs.file-max = 2097152를 넣으면 오히려 한도를 낮추는 셈이 됩니다. 배포판에 따라 패치가 다를 수 있으니 바꾸기 전에 현재 값부터 확인합니다.

같은 systemd 버전부터 서비스의 기본 한도는 soft 1024, hard 524288입니다. soft가 1024인 이유는 select()를 쓰는 오래된 프로그램이 1024를 넘는 디스크립터 번호에서 메모리를 잘못 건드리지 않게 하려는 것입니다. 많은 파일을 여는 프로그램은 시작할 때 스스로 soft를 hard까지 올리라는 것이 systemd의 권고입니다. 스스로 올리지 않는 프로그램은 1024에서 막힙니다.


누가 띄웠느냐에 따라 설정 위치가 다르다

로그인 셸은 PAM의 limits.conf를, systemd 서비스는 유닛의 LimitNOFILE을, 컨테이너는 런타임의 ulimits 설정을 거쳐 한도가 정해지는 세 갈래 경로
프로세스를 띄운 주체마다 한도가 정해지는 곳이 다르다

SSH로 로그인한 셸과 그 셸에서 직접 실행한 프로그램은 PAM의 pam_limits가 읽는 /etc/security/limits.conf와 /etc/security/limits.d/*.conf를 따릅니다.

INI
# /etc/security/limits.d/90-nofile.conf
*        soft    nofile    65536
*        hard    nofile    1048576

systemd가 띄우는 서비스는 로그인 과정이 없으니 PAM을 거치지 않습니다. limits.conf를 아무리 고쳐도 서비스에는 반영되지 않고, 유닛 파일의 LimitNOFILE이 적용됩니다. 이 차이가 처음의 혼란을 만듭니다.

BASH
# 서비스별 드롭인 파일 열기
sudo systemctl edit myapp
INI
[Service]
LimitNOFILE=65536:1048576
BASH
sudo systemctl daemon-reload
sudo systemctl restart myapp

# systemd가 이 서비스에 주는 값 확인
systemctl show myapp -p LimitNOFILE -p LimitNOFILESoft

콜론 앞이 soft, 뒤가 hard입니다. 값 하나만 쓰면 둘 다 같은 값이 됩니다. 모든 서비스의 기본값을 바꾸려면 /etc/systemd/system.conf.d/ 아래 파일에 [Manager] 섹션의 DefaultLimitNOFILE=을 쓰고 systemctl daemon-reexec을 합니다. 다만 기본값을 일괄로 올리면 select()를 쓰는 프로그램까지 영향을 받으니, 필요한 서비스만 올리는 편이 안전합니다.

컨테이너는 또 다릅니다. Docker 컨테이너의 한도는 dockerd가 물려준 값이나 docker run --ulimit nofile=65536:1048576, Compose의 ulimits: 항목으로 정해집니다. 호스트 limits.conf와는 관계가 없습니다.


재시작 없이 당장 올리기

운영 중인 프로세스를 재시작할 수 없을 때는 prlimit으로 실행 중인 프로세스의 한도를 바꿀 수 있습니다.

BASH
sudo prlimit --pid $PID --nofile=65536:1048576
grep "Max open files" /proc/$PID/limits

이 방법은 그 PID 하나에만 적용되고, 프로세스가 다시 뜨면 원래 값으로 돌아갑니다. nginx처럼 마스터가 워커를 띄우는 구조라면 실제로 연결을 받는 워커마다 적용해야 합니다. nginx는 worker_rlimit_nofile 65536;으로 워커의 한도를 정하고 nginx -s reload로 반영하는 편이 정확합니다. 어느 쪽이든 응급조치이고, 위의 systemd 설정을 같이 해 둬야 재시작 뒤에도 유지됩니다.


한도를 올리기 전에 누수부터

한도를 올렸는데 열린 개수가 시간이 갈수록 계속 늘어난다면 한도 문제가 아니라 누수입니다. 어떤 종류의 디스크립터가 많은지 봅니다.

BASH
# 종류별 개수 (socket, pipe, anon_inode, 일반 파일 경로)
ls -l /proc/$PID/fd | awk 'NR>1 {print $NF}' \
  | sed -E 's/^(socket|pipe|anon_inode):.*/\1/' \
  | sort | uniq -c | sort -nr | head

socket이 대부분이면 HTTP 클라이언트나 DB 커넥션을 닫지 않는 코드를 의심합니다. 연결을 요청마다 새로 만드는 구조라면 TIME_WAIT 소켓 누적과 포트 고갈 문제도 같이 생깁니다. 같은 로그 파일 경로가 수백 번 나온다면 파일을 열 때마다 닫지 않는 로깅 코드입니다. 이미 지운 파일을 계속 열고 있는 경우는 디스크 100%인데 파일이 안 보일 때와 원인이 같습니다.

한도 숫자를 크게 잡는 것만으로는 메모리를 쓰지 않습니다. 메모리는 실제로 열린 파일과 소켓만큼 듭니다. 그래서 큰 한도 자체는 괜찮지만, 누수가 있는 상태에서 한도만 올리면 문제가 늦게 드러날 뿐입니다.

select()를 쓰는 C 프로그램은 별도로 조심해야 합니다. FD_SETSIZE가 1024로 고정돼 있어서, 한도를 올린 뒤 1024 이상의 번호를 FD_SET에 넣으면 정의되지 않은 동작이 됩니다. 이런 프로그램은 한도를 올리기 전에 poll()이나 epoll로 바꾸거나, 1024를 넘지 않는 범위에서 운영해야 합니다.


참고 자료