AI
인공지능, LLM 로컬 구축 및 실전 AI 활용법 (총 6개)
Gemini API가 This model is currently experiencing high demand라며 503 UNAVAILABLE을 돌려줄 때 원인과 대응을 정리했습니다. 429와 503의 차이, 공식 문서가 권하는 지수 백오프와 지터, 실제 자동 발행 서버에서 8초와 16초 대기로는 넘기지 못했던 사례와 대기 시간을 늘린 설정을 다룹니다.

nvidia-smi 오류와 파이썬에서 CUDA를 못 찾는 문제를 단계별로 가르는 방법을 정리했습니다. 드라이버, 커널 모듈, Secure Boot, nvidia-smi와 nvcc 버전이 다른 이유, PyTorch와 Docker에서 GPU가 안 보일 때의 점검까지 다룹니다.

GPU가 인식되지 않거나 cuDNN, kernel image 오류가 날 때 nvidia-smi의 CUDA 버전과 프레임워크가 쓰는 CUDA를 구분하고, 드라이버·휠·LD_LIBRARY_PATH·GPU 아키텍처 중 어디가 어긋났는지 확인하는 순서를 정리했습니다.

LLM 토큰 스트리밍처럼 오래 열려 있는 gRPC 스트림이 NGINX Ingress나 Envoy를 지나며 60초, 5분, 15초 같은 기본 타임아웃에 걸려 끊기는 원인과 설정 방법, keepalive 핑 설정 시 주의점을 정리했습니다.

VRAM이 남아 보이는데 torch.OutOfMemoryError가 날 때, OOM 메시지의 숫자로 진짜 부족과 파편화를 구분하고 PYTORCH_ALLOC_CONF의 expandable_segments, 메모리 스냅샷, 코드에서 흔한 실수를 순서대로 점검하는 방법입니다.

Docker Compose로 Ollama와 Open WebUI를 함께 띄우는 설정, NVIDIA GPU 연결, VRAM에 맞는 모델 고르기, Ollama API 포트를 LAN에 그대로 열지 않는 방법, 가입 제한과 자주 나는 연결 오류를 정리했습니다.

