지니제스트 테크 블로그 배너
지니제스트Tech Archive
하드웨어9분 소요

NVMe SSD 쓰기 지연 급증 원인 찾기

•
지지니제스트
•조회 3

NVMe SSD에서 작은 랜덤 쓰기나 fsync가 몰릴 때 지연 시간이 수십 배로 튀는 원인을 SLC 캐시 소진, 내부 GC, 전원 보호(PLP) 유무, 발열 스로틀링, APST 절전으로 나눠 확인하는 방법과 I/O 스케줄러·TRIM 설정을 정리했습니다.

NVMe SSD 쓰기 지연 급증 원인 찾기

데이터베이스를 NVMe SSD로 옮겼는데 평소에는 빠르다가 가끔 쓰기 지연이 수십 밀리초까지 튀는 경우가 있습니다. CPU와 메모리는 한가하고, O_DIRECT로 페이지 캐시를 우회해도 똑같이 재현됩니다. 이러면 애플리케이션보다 드라이브 자체나 커널 설정을 의심해야 합니다.

NVMe 지연이 튀는 원인은 몇 가지로 정리됩니다. 드라이브 내부 사정(SLC 캐시, GC, 전원 보호 유무, 발열), 그리고 OS 쪽 설정(절전, 스케줄러, TRIM)입니다. 어느 쪽인지는 측정 패턴으로 꽤 정확히 구분할 수 있습니다.

NVMe 쓰기 지연 급증 원인별 증상과 확인 방법 표
원인별 점검

지연을 재현하고 패턴 보기

평균값보다 분포가 중요합니다. fio로 지연 백분위를 같이 보면서, 시간이 지남에 따라 어떻게 변하는지 확인합니다. 아래 명령은 파일 위에서 테스트하니 기존 데이터를 지우지 않습니다.

BASH
# 4KB 랜덤 쓰기, 5분간, 지연 백분위 출력
fio --name=randwrite --filename=/data/fio.test --size=20G \
  --rw=randwrite --bs=4k --iodepth=32 --numjobs=4 \
  --ioengine=libaio --direct=1 --time_based --runtime=300 \
  --group_reporting --percentile_list=50:99:99.9

같은 시간 동안 다른 터미널에서 장치 통계를 봅니다.

BASH
# 1초 간격 확장 통계 (w_await: 쓰기 평균 대기, aqu-sz: 평균 큐 길이)
iostat -x 1 nvme0n1

결과를 볼 때 확인할 점은 세 가지입니다.

  • 처음 몇십 초는 빠르다가 어느 순간 처리량이 뚝 떨어지고 그대로 유지된다: SLC 캐시 소진이나 GC 부하
  • 쓰기량과 상관없이 주기적으로 튄다: 발열 스로틀링이나 백그라운드 작업
  • 부하가 적을 때 오히려 첫 요청이 느리다: 절전 상태(APST) 복귀 지연

드라이브 내부 원인

SLC 캐시 소진과 GC

소비자용 TLC·QLC 드라이브는 빈 공간 일부를 SLC처럼 써서 쓰기를 빠르게 받습니다. 이 캐시가 차면 원래 속도로 떨어지는데, QLC 제품은 순차 쓰기 기준 수백 MB/s까지 내려가기도 합니다. 드라이브가 꽉 차 있을수록 캐시가 작아지고, 내부 GC가 유효 데이터를 옮기는 일도 많아져서 지연이 더 자주 튑니다.

사용률을 80% 아래로 유지하고, 지운 공간을 드라이브가 알 수 있도록 TRIM을 돌리는 게 기본 대응입니다. 지속 쓰기가 많은 서버라면 처음부터 여유 공간(오버프로비저닝)이 큰 데이터센터용 제품을 쓰는 게 맞습니다.

전원 손실 보호(PLP) 유무

데이터베이스 WAL처럼 fsync를 자주 부르는 워크로드에서 특히 중요합니다. 데이터센터용 SSD는 전원이 나가도 캐시 내용을 기록할 수 있는 축전기(PLP)가 있어서 플러시 요청을 바로 끝냅니다. 소비자용 SSD는 PLP가 없어서 플러시할 때마다 실제로 낸드에 쓸 때까지 기다리므로, fsync가 많을수록 지연이 크게 늘어납니다.

BASH
# 휘발성 쓰기 캐시 지원 여부 (vwc 값 1이면 휘발성 캐시 있음)
sudo nvme id-ctrl /dev/nvme0 | grep -E "^vwc|^mn|^fr "

# fsync 지연만 따로 측정
fio --name=fsync --filename=/data/fio.sync --size=1G \
  --rw=write --bs=8k --fsync=1 --runtime=60 --time_based

fsync=1 테스트에서 IOPS가 수백 단위로 나오면 PLP 없는 드라이브일 가능성이 큽니다. 이 경우 설정으로는 크게 나아지지 않으니, WAL만이라도 PLP가 있는 드라이브에 두는 것을 검토합니다.

발열 스로틀링

NVMe 컨트롤러는 온도가 정해진 기준을 넘으면 스스로 속도를 낮춥니다. 방열판 없는 M.2 드라이브를 서버나 미니 PC에 넣었을 때 흔합니다.

BASH
# 온도, 경고 온도 초과 누적 시간 확인
sudo nvme smart-log /dev/nvme0 \
  | grep -Ei "temperature|warning|critical"

Warning Temperature Time이나 Critical Composite Temperature Time이 0이 아니면 스로틀링을 겪은 적이 있다는 뜻입니다. 같은 출력의 percentage_used(수명 사용률)와 media_errors도 함께 확인해 둡니다.

펌웨어 버전(fr)도 제조사 릴리스 노트와 비교해 봅니다. 특정 펌웨어에서 GC나 절전 관련 지연 버그가 고쳐진 사례가 적지 않습니다. 업데이트 전에는 백업을 먼저 해 둡니다.


OS 쪽 설정

APST 절전 복귀 지연

NVMe는 유휴 상태에서 자동으로 깊은 절전 상태로 들어갑니다(APST). 노트북에는 유용하지만, 일부 드라이브는 복귀에 수십 밀리초가 걸려 간헐적인 지연이나 심하면 장치가 사라지는 문제를 일으킵니다.

BASH
# 드라이브가 지원하는 전원 상태와 복귀 지연(exlat) 확인
sudo nvme id-ctrl /dev/nvme0 | grep "^ps "

# 현재 커널이 허용하는 최대 절전 지연 (마이크로초)
cat /sys/module/nvme_core/parameters/default_ps_max_latency_us

서버라면 커널 부트 파라미터로 깊은 절전 상태를 막을 수 있습니다. 0이면 APST를 완전히 끕니다. 전력 소모가 늘어나니 노트북에서는 지연이 실제로 문제가 될 때만 씁니다.

BASH
# /etc/default/grub의 GRUB_CMDLINE_LINUX에 추가 후 grub 갱신
nvme_core.default_ps_max_latency_us=0

I/O 스케줄러

NVMe는 장치 안에 큐가 여러 개 있고 명령 재정렬도 직접 합니다. 그래서 대부분 배포판이 NVMe에 기본으로 none을 씁니다. 현재 값을 확인해 보고 다른 값으로 바뀌어 있다면 되돌립니다.

BASH
# 대괄호 안이 현재 스케줄러
cat /sys/block/nvme0n1/queue/scheduler

# 즉시 변경 (재부팅하면 원래대로)
echo none | sudo tee /sys/block/nvme0n1/queue/scheduler

재부팅 후에도 유지하려면 udev 규칙을 씁니다. GRUB에 scsi_mod.use_blk_mq=1을 넣으라는 자료가 있는데, 이 옵션은 SCSI 장치용이고 커널 5.0부터는 아예 없어졌습니다. NVMe와는 관계가 없습니다.

BASH
# /etc/udev/rules.d/60-nvme-scheduler.rules
ACTION=="add|change", KERNEL=="nvme[0-9]*n[0-9]*", ATTR{queue/scheduler}="none"

한 장치를 여러 워크로드가 나눠 쓰면서 읽기 지연이 쓰기에 밀린다면 mq-deadline이나 kyber가 나을 수도 있습니다. 바꾼 뒤에는 위의 fio 테스트로 백분위 지연을 비교합니다.

TRIM 방식

TRIM은 파일 시스템이 지운 블록을 드라이브에 알려 GC 부담을 줄여 줍니다. 방법은 두 가지입니다.

  • discard 마운트 옵션: 파일을 지울 때마다 바로 알립니다. 삭제가 많은 워크로드에서는 이 작업 자체가 지연을 만들 수 있습니다.
  • fstrim.timer: 주기적으로 모아서 한 번에 알립니다. 대부분 배포판에 들어 있고, 일반 서버에는 이쪽을 먼저 권합니다.
BASH
# 주기적 TRIM 활성화 상태 확인 및 켜기
systemctl status fstrim.timer
sudo systemctl enable --now fstrim.timer

# 바로 한 번 실행
sudo fstrim -v /data

discard와 fstrim.timer를 둘 다 켤 필요는 없습니다. Btrfs는 커널 6.2부터 비동기 discard(discard=async)가 기본이라 따로 설정하지 않아도 됩니다.


자주 받는 질문

Q. smart-log에 문제가 없는데 성능이 떨어집니다.

SMART는 수명과 오류를 보는 지표라 성능 저하는 잘 드러나지 않습니다. 위의 fio 지연 백분위와 iostat의 w_await 추이로 판단하고, 사용률이 높다면 공간부터 비워 보는 게 가장 빠른 확인 방법입니다.

Q. 서버에 소비자용 NVMe를 써도 되나요?

읽기 위주나 개발 서버라면 대체로 괜찮습니다. fsync가 많은 데이터베이스나 지속 쓰기가 많은 로그 서버라면 PLP와 넉넉한 오버프로비저닝이 있는 데이터센터용 제품이 지연 면에서 확실히 낫습니다.

Q. 지연이 튀는 게 메모리 문제일 수도 있나요?

O_DIRECT 테스트에서도 같다면 메모리보다는 저장 장치 쪽입니다. 메모리 대역폭이 의심된다면 AMD EPYC 메모리 인터리빙과 NPS 설정 점검 글의 STREAM 측정을 참고하세요.


참고 자료