큰 로그를 rm으로 지웠는데 df가 그대로 100%일 때, 프로세스가 붙잡고 있는 삭제된 파일을 lsof +L1로 찾고 /proc 경로로 비워 재시작 없이 공간을 돌려받는 방법과 journald, Docker 로그, ext4 예약 블록, logrotate 설정까지 정리했습니다.
No space left on device가 떠서 급하게 큰 로그 파일을 rm으로 지웠는데 df -h는 여전히 100%입니다. 그런데 du -sh /*로 디렉터리마다 재 보면 합계가 훨씬 작습니다. 지운 파일을 아직 어떤 프로세스가 열어 두고 있는 경우입니다.
리눅스에서 rm은 파일 이름(디렉터리 항목)을 지울 뿐입니다. 파일 데이터는 그 파일을 가리키는 이름이 하나도 없고, 열어 둔 프로세스도 없을 때 비로소 반환됩니다. 로그를 쓰고 있던 프로세스가 살아 있으면 이름만 사라지고 용량은 그대로 남습니다.
원인별 점검
df와 du가 다른 이유
df는 파일 시스템 전체에서 할당된 블록 수를 커널에 물어봅니다. 이름이 없어도 아직 해제되지 않은 블록은 사용 중으로 셉니다. du는 디렉터리를 돌며 이름이 있는 파일의 크기를 더합니다. 이름이 지워진 파일은 볼 방법이 없으니 빠집니다.
그래서 둘의 차이가 크면 "지웠지만 아직 열려 있는 파일"을 먼저 의심합니다. 다른 마운트 아래에 가려진 파일(마운트하기 전에 같은 경로에 쓰인 파일)도 같은 증상을 내지만, 훨씬 드뭅니다.
지워졌지만 열린 파일 찾기
BASH
# 링크 수가 1 미만(=이름이 없는) 열린 파일sudo lsof -nP +L1
+L1은 링크 수가 1보다 작은 파일만 보여 주는 옵션이라, grep '(deleted)'보다 정확하고 스레드별 중복 줄도 적습니다. 크기 순으로 보고 싶다면 이렇게 정렬합니다.
가장 깔끔한 방법은 그 프로세스를 재시작하는 것입니다. 파일을 닫는 순간 공간이 반환됩니다. 바로 재시작할 수 없는 서비스라면 열린 파일 내용을 비워서 블록을 먼저 돌려받습니다.
BASH
# PID 24102의 FD 14가 가리키는 파일을 0바이트로sudotruncate -s 0 /proc/24102/fd/14
df -hT /
/proc/<PID>/fd/<FD>는 프로세스가 연 파일에 바로 접근하는 경로라서, 이름이 지워진 파일도 이 경로로 크기를 줄일 수 있습니다.
알아 둘 점이 하나 있습니다. 프로세스가 O_APPEND 없이 파일을 열었다면, 비운 뒤에도 원래 쓰던 위치(예: 40GB 지점)부터 계속 씁니다. 그러면 파일 크기는 다시 40GB로 표시되지만 앞부분은 빈 공간(스파스 파일)이라 실제 디스크는 거의 쓰지 않습니다. ls -l의 크기와 du의 크기가 다르게 보이는 건 이 때문이고, 디스크 공간 문제는 해결된 상태입니다.
그래도 100%라면 다른 원인
ext4 예약 블록
ext4는 기본으로 블록의 5%를 root 전용으로 남겨 둡니다. 일반 사용자 프로세스는 df 기준 100%에서 멈추지만 root는 조금 더 쓸 수 있습니다. 2TB 데이터 디스크라면 약 100GB가 예약돼 있는 셈입니다.
BASH
# 예약 블록 수 확인sudo tune2fs -l /dev/sdb1 | grep -i 'reserved block count'# 루트 파일 시스템이 아닌 데이터 디스크라면 1%로 줄일 수 있음sudo tune2fs -m 1 /dev/sdb1
루트 파일 시스템은 디스크가 찼을 때 시스템 데몬이 버틸 여유가 필요하니 그대로 두는 편이 낫습니다.
systemd 저널
journald는 SystemMaxUse를 따로 정하지 않으면 파일 시스템 크기의 10%(최대 4GB)까지 씁니다.
BASH
journalctl --disk-usage
# 현재 파일을 닫고(rotate) 오래된 것부터 정리sudo journalctl --rotate
sudo journalctl --vacuum-size=500M
--vacuum-*은 이미 닫힌(아카이브된) 저널 파일만 지우기 때문에, 먼저 --rotate를 해야 원하는 만큼 줄어듭니다. 계속 제한하려면 /etc/systemd/journald.conf에 SystemMaxUse=500M을 넣고 systemctl restart systemd-journald를 실행합니다.
Docker 컨테이너 로그
Docker의 기본 json-file 로그는 크기 제한이 없어서 /var/lib/docker/containers/<ID>/<ID>-json.log가 계속 커집니다.
copytruncate는 파일을 복사한 뒤 원본을 0으로 잘라서, 애플리케이션이 파일을 다시 열지 않아도 됩니다. 대신 복사와 자르기 사이에 쓰인 로그는 잃을 수 있습니다. 애플리케이션이 신호를 받고 로그 파일을 다시 여는 기능(예: nginx의 USR1)이 있다면 copytruncate 대신 postrotate에서 그 신호를 보내는 방식이 더 정확합니다.
자주 받는 질문
Q. 지운 파일을 /proc에서 되살릴 수 있나요?
프로세스가 아직 열고 있다면 가능합니다. cp /proc/<PID>/fd/<FD> /tmp/restored.log로 복사하면 그 시점까지의 내용을 얻습니다. 실수로 지운 설정 파일이나 DB 파일을 살릴 때 유용합니다.
Q. inode가 부족해도 같은 오류가 나나요?
네. 용량은 남았는데 No space left on device가 나면 df -i로 inode 사용률을 확인합니다. 작은 파일 수백만 개(세션 파일, 캐시)가 원인인 경우가 많습니다.
Q. 프로세스를 kill 해도 되나요?
공간은 바로 돌아오지만, 쓰기 중인 데이터가 날아가거나 서비스가 내려갑니다. 서비스 관리자로 정상 재시작(systemctl restart)하는 게 우선이고, kill -9는 마지막 수단입니다.