Docker Compose로 Ollama와 Open WebUI를 함께 띄우는 설정, NVIDIA GPU 연결, VRAM에 맞는 모델 고르기, Ollama API 포트를 LAN에 그대로 열지 않는 방법, 가입 제한과 자주 나는 연결 오류를 정리했습니다.
사내 문서나 개인 메모를 외부 AI 서비스에 붙여 넣기 꺼려질 때 집이나 사무실 PC에서 언어 모델을 직접 돌리는 방법이 있습니다. Ollama가 모델을 받아 추론을 맡고, Open WebUI가 ChatGPT 비슷한 웹 화면을 제공합니다. 둘 다 공식 Docker 이미지가 있어서 Compose 파일 하나로 묶어 띄울 수 있습니다.
기대치는 미리 맞춰 두는 게 좋습니다. 일반 PC의 GPU로 돌릴 수 있는 수십억 파라미터급 모델은 요약, 번역, 간단한 코드 작성은 쓸 만하지만 대형 클라우드 모델과 같은 수준을 기대하기는 어렵습니다.
ollama 서비스에는 일부러 ports를 두지 않았습니다. Ollama API에는 인증이 없고, 공식 이미지는 모든 인터페이스(0.0.0.0:11434)에서 요청을 받습니다. "11434:11434"로 열면 같은 네트워크의 누구나 모델을 받거나 지우고 GPU를 쓸 수 있습니다. Open WebUI는 Compose 내부 네트워크에서 ollama라는 이름으로 접속하므로 포트를 열 필요가 없습니다. 호스트의 다른 도구에서 API를 써야 한다면 "127.0.0.1:11434:11434"처럼 로컬에만 엽니다.
WEBUI_SECRET_KEY는 로그인 토큰을 서명하는 값입니다. 같은 폴더의 .env에 넣어 둡니다.
OLLAMA_KEEP_ALIVE는 마지막 요청 뒤 모델을 메모리에 남겨 두는 시간으로, 기본값은 5분입니다. 늘리면 다음 질문의 첫 응답이 빨라지지만 그동안 VRAM을 계속 차지합니다. 같은 GPU로 다른 작업도 한다면 너무 길게 잡지 않는 편이 낫습니다.
GPU 연결
deploy.resources.reservations.devices가 동작하려면 호스트에 NVIDIA 드라이버와 NVIDIA Container Toolkit이 있어야 합니다. 툴킷은 Ubuntu 기본 저장소에 없으므로 NVIDIA 저장소를 먼저 등록해야 apt install이 됩니다. 저장소 등록 명령은 NVIDIA 설치 문서에 배포판별로 나와 있습니다.
툴킷이 없으면 could not select device driver "nvidia" with capabilities: [[gpu]] 오류가 나며 컨테이너가 뜨지 않습니다. GPU가 잡혔는지는 모델을 한 번 돌린 뒤 docker compose exec ollama ollama ps를 보면 알 수 있습니다. PROCESSOR 열이 100% GPU면 전부 GPU에 올라간 것이고, CPU/GPU로 나뉘어 있으면 VRAM이 모자라 일부가 CPU로 넘어간 것입니다. 이 경우 속도가 크게 떨어집니다.
모델 고르기
모델 파일 크기보다 VRAM이 1~2GB 이상 여유 있어야 대화 길이(컨텍스트)까지 GPU에 올라갑니다. Ollama 라이브러리 기본 태그(4비트 양자화) 기준 크기는 대략 이렇습니다.
모델
다운로드 크기
용도
llama3.2:3b
약 2.0GB
가벼운 요약, 분류
qwen2.5-coder:7b
약 4.7GB
코드 작성, 설명
deepseek-r1:8b
약 5.2GB
단계적으로 추론하는 답변
BASH
# 받기만 할 때는 pull
docker compose exec ollama ollama pull llama3.2:3b
# 받은 모델 목록
docker compose exec ollama ollama list
한국어 답변 품질은 모델마다 차이가 큽니다. 같은 질문을 두세 모델에 해 보고 고르는 게 가장 확실합니다.
Open WebUI 첫 설정
http://<서버 IP>:3000에 접속해 처음 가입한 계정이 관리자가 됩니다. 이후 가입하는 계정은 기본적으로 pending 상태라 관리자가 승인해야 쓸 수 있습니다.
혼자 쓰거나 사용자가 정해져 있다면 가입 자체를 막아 두는 게 깔끔합니다. 관리자 패널의 설정에서 신규 가입을 끄거나, 관리자 계정을 만든 뒤 환경 변수로 막습니다.
YAML
environment:-ENABLE_SIGNUP=false
외부에서 접속해야 한다면 3000 포트를 공유기에서 바로 포워딩하지 말고 VPN(WireGuard, Tailscale 등)이나 HTTPS 리버스 프록시를 거치게 합니다.
자주 받는 질문
Q. Open WebUI에서 모델 목록이 비어 있습니다.
Open WebUI가 Ollama에 접속하지 못하는 경우입니다. OLLAMA_BASE_URL이 http://localhost:11434로 되어 있으면 Open WebUI 컨테이너 자신을 가리키므로 실패합니다. Compose 서비스 이름인 http://ollama:11434여야 합니다.
ollama ps로 모델이 GPU에 다 올라갔는지부터 봅니다. CPU로 넘어간 부분이 있으면 더 작은 모델이나 더 작은 양자화 태그로 바꿉니다. Open WebUI에서 컨텍스트 길이를 크게 늘린 경우에도 VRAM이 부족해집니다.
Q. 업데이트는 어떻게 하나요?
BASH
docker compose pull
docker compose up -d
모델과 대화 기록은 이름 있는 볼륨(ollama, open-webui)에 있어서 컨테이너를 새로 만들어도 유지됩니다. Open WebUI의 main 태그는 자주 바뀌므로, 안정적으로 쓰려면 특정 버전 태그로 고정하고 업데이트 전에 open-webui 볼륨을 백업해 둡니다.