지니제스트 테크 블로그 배너
지니제스트Tech Archive
하드웨어9분 소요

AMD EPYC 메모리 인터리빙과 NPS 설정 점검으로 대역폭 저하 잡기

•
지지니제스트

AMD EPYC 서버에서 메모리 대역폭이 기대치의 절반도 안 나올 때 확인할 것들을 정리했습니다. BIOS의 메모리 인터리빙과 NPS 설정, DIMM 장착 구성, STREAM으로 확인하는 방법, vm.zone_reclaim_mode의 실제 의미까지 다룹니다.

AMD EPYC 메모리 인터리빙과 NPS 설정 점검으로 대역폭 저하 잡기

AMD EPYC 서버로 장비를 옮긴 뒤 메모리를 많이 쓰는 배치 작업이 오히려 느려지는 경우가 있습니다. CPU 사용률은 낮은데 처리량이 안 나오고, 디스크나 네트워크를 아무리 들여다봐도 이상이 없습니다. 이럴 때 BIOS 메모리 설정을 열어 보면 인터리빙이 꺼져 있거나, NPS 값이 워크로드와 맞지 않거나, DIMM이 채널마다 고르게 꽂혀 있지 않은 경우가 많습니다.

이 세 가지는 OS가 알아서 경고해 주지 않습니다. 커널 로그에 "인터리빙이 꺼졌다"는 메시지가 찍히지도 않습니다. 그래서 토폴로지를 확인하고, 대역폭을 직접 재 보고, BIOS 설정과 대조하는 순서로 원인을 좁혀야 합니다.

💡 확인 기준

AMD EPYC 7002(Zen 2) 이후 세대의 BIOS 메뉴 이름과 동작을 기준으로 썼습니다. 메뉴 위치와 이름은 서버 제조사(Dell, HPE, Supermicro 등)마다 다르니 제조사 BIOS 튜닝 가이드를 함께 보세요.

EPYC 메모리 대역폭 저하를 점검하는 4단계
점검 순서

Zen 구조에서 메모리 인터리빙이 하는 일

EPYC 7001(1세대 Zen)은 다이마다 메모리 컨트롤러가 붙어 있어서 소켓 하나가 NUMA 노드 네 개로 보였습니다. Zen 2부터는 구조가 바뀌어 메모리 컨트롤러가 모두 가운데 I/O 다이(IOD)로 옮겨 갔고, 코어가 들어 있는 CCD에는 메모리 컨트롤러가 없습니다. 그래서 요즘 EPYC에서는 "CCD마다 로컬 메모리가 있다"는 설명이 맞지 않습니다.

메모리 인터리빙은 연속된 물리 주소를 여러 채널에 잘게 나눠 배치하는 기능입니다. 켜져 있으면 프로세스 하나가 큰 배열을 순서대로 읽어도 요청이 8채널(7003 기준) 또는 12채널(9004 기준)로 흩어져 동시에 처리됩니다. 꺼져 있으면 주소 공간이 채널 단위로 이어 붙여지기 때문에, 한 프로세스의 메모리가 채널 한두 개에 몰리고 대역폭이 그만큼 떨어집니다.

여기에 NPS(NUMA nodes Per Socket) 설정이 더해집니다. NPS는 인터리빙 범위를 정하는 옵션이기도 합니다.

  • NPS1: 소켓의 모든 채널을 묶어 인터리빙하고, 소켓 하나를 NUMA 노드 하나로 보여 줍니다.
  • NPS2, NPS4: 채널을 절반 또는 사분면 단위로 묶고, 그만큼 NUMA 노드를 나눠 보여 줍니다. 로컬 접근 지연은 조금 줄지만, NUMA를 의식하지 않는 프로그램은 오히려 손해를 볼 수 있습니다.
  • NPS0: 2소켓 시스템에서 두 소켓의 채널 전체를 하나로 인터리빙합니다. 노드가 하나로 보이지만 절반의 접근은 소켓을 건너가야 해서 일반 서버 용도로는 권장되지 않습니다.

증상 확인: 토폴로지와 DIMM 구성부터

먼저 OS가 보는 NUMA 노드 수와 노드별 메모리 크기를 봅니다. NPS 설정은 이 결과에 그대로 드러납니다.

BASH
# NUMA 노드 수, 노드별 CPU와 메모리
numactl --hardware

# 요약만 보고 싶을 때
lscpu | grep -i numa

1소켓 서버인데 노드가 4개로 나오면 NPS4이고, 2소켓인데 노드가 1개로 나오면 NPS0입니다. 노드별 size가 크게 차이 나면 DIMM이 고르게 꽂혀 있지 않을 가능성이 큽니다.

다음은 DIMM이 어느 슬롯에 몇 개 꽂혀 있는지 확인합니다. EPYC은 채널마다 같은 용량, 같은 랭크의 DIMM을 같은 개수로 꽂아야 인터리빙이 제대로 걸립니다. 7003 기준으로 8채널을 모두 채우지 않으면 제조사에 따라 NPS 선택지가 줄거나 대역폭이 크게 떨어집니다.

BASH
# 장착된 DIMM의 슬롯, 용량, 속도
sudo dmidecode -t memory \
  | grep -E "Locator|Size|Configured Memory Speed" \
  | grep -v "Bank Locator"

Size: No Module Installed가 채널 사이에 들쭉날쭉 섞여 있다면 그 자체로 원인 후보입니다. 같은 용량이라도 랭크가 다른 DIMM을 섞었는지도 함께 봅니다.


대역폭을 직접 재 보기

인터리빙 상태는 OS에서 바로 조회할 방법이 없으니 대역폭을 재서 판단합니다. 가장 흔히 쓰는 도구는 STREAM입니다. 배열 크기는 L3 캐시 합계의 4배 이상으로 잡아야 캐시가 아닌 메모리 대역폭이 측정됩니다.

BASH
# STREAM 소스 받아서 OpenMP로 빌드
wget https://www.cs.virginia.edu/stream/FTP/Code/stream.c
gcc -O3 -fopenmp -mcmodel=large \
  -DSTREAM_ARRAY_SIZE=400000000 -DNTIMES=20 \
  stream.c -o stream

# 물리 코어마다 스레드 하나씩 고르게 배치
export OMP_NUM_THREADS=$(lscpu -p=CORE | grep -v '#' | sort -u | wc -l)
export OMP_PROC_BIND=spread OMP_PLACES=cores
./stream

결과의 Triad 값을 이론 대역폭과 비교합니다. 이론치는 채널 수 × 전송 속도(MT/s) × 8바이트로 계산합니다. 예를 들어 DDR4-3200 8채널이면 약 204.8GB/s이고, 실측 Triad가 그 60~80% 수준이면 정상 범위로 봅니다. 30% 아래로 나오면 인터리빙이나 DIMM 구성을 의심할 만합니다.

같은 측정을 노드 하나에 묶어서도 해 봅니다. 노드마다 결과가 크게 다르면 특정 노드의 채널 구성이 다른 것입니다.

BASH
# 노드 0의 CPU와 메모리만 써서 측정
numactl --cpunodebind=0 --membind=0 ./stream

BIOS에서 바로잡기

원인이 BIOS 쪽으로 좁혀졌다면 다음 항목을 확인합니다. 메뉴 이름은 AMD 레퍼런스 BIOS 기준이고, 제조사 BIOS에서는 이름이 조금씩 다릅니다.

📌 BIOS 점검 순서
  1. AMD CBS > DF Common Options > Memory Addressing 메뉴로 들어갑니다.
  2. Memory interleaving이 Disabled라면 Auto로 되돌립니다. 이 옵션을 끄는 건 성능 시험이나 특수한 메모리 배치가 필요할 때뿐입니다.
  3. NUMA nodes per socket을 워크로드에 맞게 고릅니다. NUMA를 의식하지 않는 일반 애플리케이션이나 가상화 호스트라면 NPS1에서 시작하는 편이 무난합니다.
  4. ACPI SRAT L3 Cache As NUMA Domain이 켜져 있으면 CCD마다 노드가 생겨 노드 수가 크게 늘어납니다. 이 기능을 일부러 쓰는 HPC 환경이 아니라면 꺼 둡니다.
  5. 저장 후 재부팅하고 numactl --hardware와 STREAM을 다시 실행해 비교합니다.

Intel 서버에서 넘어온 분들이 헷갈리는 게 Node Interleaving 옵션입니다. Intel이나 예전 서버 BIOS에서 이 옵션을 켜면 노드 구분을 없애고 전체 메모리를 하나로 인터리빙합니다. EPYC에서 같은 역할을 하는 건 NPS0이고, 채널 인터리빙(Memory interleaving)과는 다른 설정입니다. 두 개를 같은 것으로 보고 하나를 끄면 문제가 생깁니다.

DIMM 장착이 원인이라면 BIOS로는 해결이 안 됩니다. 서버 매뉴얼의 메모리 장착 규칙표를 보고 채널을 균등하게 채워야 합니다.


OS 쪽에서 손볼 수 있는 것

BIOS 설정을 바로잡은 뒤에도 NUMA 노드가 여러 개라면, 애플리케이션 배치를 조정해 원격 메모리 접근을 줄일 수 있습니다.

BASH
# 데이터베이스 프로세스를 노드 0의 CPU와 메모리에 고정
numactl --cpunodebind=0 --membind=0 \
  /usr/local/bin/my_database_server --config /etc/db.conf

# 노드별 메모리 할당 현황을 프로세스 단위로 확인
numastat -p my_database_server

--membind는 해당 노드 메모리가 부족해지면 다른 노드로 넘어가지 않고 회수나 OOM으로 이어집니다. 메모리를 노드 하나보다 많이 쓰는 프로세스라면 --interleave=all로 모든 노드에 고르게 나눠 담는 쪽이 낫습니다.

vm.zone_reclaim_mode도 자주 언급되는 값인데, 동작을 잘못 설명한 자료가 많습니다. 이 값은 단계가 아니라 비트 조합입니다.

  • 0: 로컬 노드 메모리가 부족하면 회수하지 않고 다른 노드에서 할당합니다. 대부분 배포판의 기본값입니다.
  • 1: 다른 노드로 넘어가기 전에 로컬 노드의 캐시부터 회수합니다.
  • 2: 회수할 때 더티 페이지를 디스크에 써서 내보내는 것까지 허용합니다.
  • 4: 회수할 때 스왑까지 허용합니다.

파일 캐시를 많이 쓰는 서버에서 1을 켜면 다른 노드에 여유가 있는데도 로컬 캐시를 버려서 I/O가 늘어날 수 있습니다. 특별한 이유가 없으면 0으로 둡니다. 설정을 바꿨다면 아래처럼 파일로 남기고 적용합니다.

BASH
# 설정 파일로 고정
echo "vm.zone_reclaim_mode = 0" \
  | sudo tee /etc/sysctl.d/90-numa.conf

# /etc/sysctl.d 아래 파일까지 모두 다시 읽기
sudo sysctl --system

자주 받는 질문

Q. dmesg에서 인터리빙 관련 메시지를 찾을 수 있나요?

리눅스 커널은 BIOS의 채널 인터리빙 여부를 따로 출력하지 않습니다. dmesg에서는 NUMA 노드 구성(NUMA: Node 0 ...)과 SRAT 정보 정도만 볼 수 있습니다. 인터리빙 여부는 BIOS 화면이나 BMC(iDRAC, iLO 등)의 BIOS 설정 조회, 그리고 대역폭 측정으로 확인해야 합니다.

Q. NPS4로 바꾸면 무조건 빨라지나요?

아닙니다. NPS4는 노드 안에서의 접근 지연을 조금 줄이는 대신, 노드 하나의 대역폭이 소켓 전체의 4분의 1로 줄어듭니다. NUMA를 인식하고 스레드와 메모리를 노드별로 나눠 쓰는 HPC 코드에서 이득이 있고, 그렇지 않은 프로그램이나 VM 호스트에서는 NPS1이 더 나은 경우가 많습니다. 바꾸기 전과 후에 실제 워크로드로 비교해 보는 게 가장 확실합니다.

Q. sysctl -p로 적용했는데 값이 안 바뀝니다.

sysctl -p는 기본적으로 /etc/sysctl.conf 하나만 읽습니다. /etc/sysctl.d/ 아래에 설정을 넣었다면 sysctl --system을 써야 합니다. 같은 키가 여러 파일에 있으면 나중에 읽힌 값이 이기므로, sysctl vm.zone_reclaim_mode로 최종 값을 꼭 확인합니다.

Q. fio로 디스크를 재 봤는데 차이가 없습니다.

메모리 인터리빙은 메모리 대역폭 문제라서 디스크 벤치마크에는 잘 드러나지 않습니다. 확인은 STREAM 같은 메모리 대역폭 측정으로 하고, 디스크 지연은 별도 문제로 보는 게 맞습니다. NVMe 쪽 지연이 의심된다면 NVMe SSD I/O 성능 저하와 지연 시간 급증 분석을 참고하세요.


참고 자료