Ollama 메모리 관리: 모델이 안 올라갈 때 해결법

Ollama 모델이 안 올라갈 때는 KEEP_ALIVE, 동시 로드·병렬 요청 수, 컨텍스트 길이 세 가지를 조절하면 됩니다. Mac 기준 순서를 정리했습니다.

조회 56
Ollama 메모리 관리: 모델이 안 올라갈 때 해결법

핵심 요약

  • 모델이 안 올라가는 원인은 대개 가중치·KV 캐시·병렬 요청분의 메모리 합계 초과입니다.
  • KEEP_ALIVE는 -1이면 상주, 0이면 즉시 해제이며 요청별 keep_alive가 환경 변수보다 우선합니다.
  • 병렬 수 × 컨텍스트 길이에 RAM이 비례하므로 병렬은 1에서 시작하고 컨텍스트는 필요한 만큼만 잡습니다.

모델이 안 올라갈 때는 세 가지를 조절하면 됩니다. 모델이 메모리에 머무는 시간(OLLAMA_KEEP_ALIVE), 동시에 올릴 모델 수와 요청 수, 컨텍스트 길이입니다. 양자화 수준은 모델 파일 크기 자체를 정하므로 이 설정들보다 먼저 정해야 합니다. 이 글은 Mac 한 대(통합 메모리)에서 여러 모델을 안정적으로 돌리는 순서로 정리했습니다.

모델이 안 올라가는 진짜 이유

모델이 로드되지 않는 원인은 대부분 메모리 합계 초과입니다. 가중치 크기에 컨텍스트(KV 캐시)와 병렬 요청분이 더해지고, 이미 로드된 다른 모델이 메모리를 점유하고 있으면 새 모델이 들어갈 자리가 없습니다. Apple Silicon은 CPU와 GPU가 메모리를 공유하므로, 브라우저나 IDE가 쓰는 메모리까지 같은 풀에서 빠져나갑니다.

Ollama FAQ에 따르면 새 모델을 올릴 메모리가 부족하고 이미 로드된 모델이 있으면, 요청은 바로 실패하지 않고 대기열에 들어갑니다. 즉 "안 올라간다"는 증상은 에러로 나타나기보다 응답이 오래 멈추는 형태일 수 있습니다. 이럴 때는 먼저 현재 상태부터 확인하세요.

ollama ps

ollama ps는 지금 로드된 모델과 메모리 사용량을 보여 줍니다. 쓰지 않는 모델이 남아 있다면 그것부터 내리는 것이 가장 빠른 해결책입니다.

OLLAMA_KEEP_ALIVE로 상주 시간 조절하기

OLLAMA_KEEP_ALIVE는 모델이 메모리에 머무는 시간을 정합니다. Ollama FAQ에 따르면 서버 시작 시 이 환경 변수를 설정해 모든 모델의 상주 시간을 바꿀 수 있습니다. /api/generate와 /api/chat의 keep_alive 파라미터는 이 환경 변수보다 우선합니다. 그래서 전역 기본값은 짧게 두고, 자주 쓰는 모델만 요청별로 길게 잡을 수 있습니다.

같은 문서에는 keep_alive를 -1로 주면 모델이 계속 로드된 상태로 남고 0으로 주면 즉시 언로드된다고 나옵니다.

# 계속 상주
curl http://localhost:11434/api/generate -d '{"model": "llama3.2", "keep_alive": -1}'

# 즉시 해제
curl http://localhost:11434/api/generate -d '{"model": "llama3.2", "keep_alive": 0}'

메모리가 빠듯한 Mac이라면 무거운 모델은 쓰고 나서 0으로 내리고, 가벼운 보조 모델(임베딩 등)만 -1로 고정하는 식이 안정적입니다.

동시 로드 수와 병렬 요청 제한

여러 모델을 함께 쓸 때는 OLLAMA_MAX_LOADED_MODELS와 OLLAMA_NUM_PARALLEL이 핵심입니다. Ollama FAQ에 따르면 OLLAMA_MAX_LOADED_MODELS는 메모리에 맞는 범위에서 동시에 로드할 수 있는 모델의 최대 수입니다. 기본값은 GPU 수의 3배이고, CPU 추론이면 3입니다.

OLLAMA_NUM_PARALLEL은 모델 하나가 동시에 처리하는 요청의 최대 수입니다. 같은 문서에서 기본값은 1이고, 필요한 RAM은 OLLAMA_NUM_PARALLEL × OLLAMA_CONTEXT_LENGTH에 비례해 늘어난다고 설명합니다. 병렬을 4로 올리면 컨텍스트 몫의 메모리도 그만큼 필요하다는 뜻입니다.

혼자 쓰는 개발용 Mac이라면 병렬은 1로 두고, 동시 로드 수만 실제 메모리에 맞춰 줄이는 쪽을 권합니다. 두 설정의 효과는 다음과 같습니다.

설정 역할 메모리 영향
OLLAMA_KEEP_ALIVE 유휴 모델의 상주 시간 길수록 점유 시간이 늘어남
OLLAMA_MAX_LOADED_MODELS 동시 로드 모델 수 상한 낮출수록 총 점유량 상한이 낮아짐
OLLAMA_NUM_PARALLEL 모델당 동시 요청 수 컨텍스트 몫이 요청 수만큼 늘어남
OLLAMA_CONTEXT_LENGTH 컨텍스트 길이 길수록 KV 캐시가 커짐

컨텍스트 길이와 양자화 선택

컨텍스트 길이는 메모리 예산을 가장 크게 흔드는 변수 중 하나입니다. 위에서 본 대로 필요한 RAM이 OLLAMA_CONTEXT_LENGTH에 비례해 커지기 때문입니다. 모든 작업에 긴 컨텍스트가 필요하지는 않습니다. 코드 자동완성용 모델은 짧게, 긴 문서 요약용 모델만 길게 잡는 식으로 모델마다 다르게 두는 편이 낫습니다.

양자화는 같은 모델이라도 가중치 용량을 달리 만드는 선택입니다. 비트 수가 낮을수록 파일이 작아져 여러 모델을 함께 올리기 쉽지만, 품질은 떨어질 수 있습니다. 다만 양자화 단계별 정확한 메모리 절감 수치와 품질 저하 폭은 공식 문서에서 확인되지 않아 여기서는 수치를 제시하지 않습니다. 사용할 모델의 태그별 파일 크기를 Ollama 라이브러리에서 비교하고, 직접 써 보며 품질을 판단하세요.

버전에 따라 기본 동작이 바뀌는 경우도 있습니다. 업그레이드 전에는 Ollama GitHub Releases에서 변경 사항을 확인하는 습관을 들이세요. 메모리 관련 기본값이 바뀌면 이전에 잘 돌던 조합이 갑자기 안 올라갈 수 있습니다.

실천 가이드

Mac 한 대에서 모델 여러 개를 안정적으로 돌리는 순서는 다음과 같습니다.

  1. ollama ps로 지금 올라간 모델과 메모리 사용량을 확인합니다.
  2. 용도별로 모델을 나눕니다. 무거운 주력 모델 하나와 가벼운 보조 모델 한두 개가 현실적입니다.
  3. 전역 OLLAMA_KEEP_ALIVE는 짧게 두고, 보조 모델만 요청에서 keep_alive: -1로 고정합니다. 무거운 모델은 쓴 뒤 0으로 내립니다.
  4. OLLAMA_MAX_LOADED_MODELS를 실제 메모리에 맞게 낮추고, OLLAMA_NUM_PARALLEL은 1에서 시작합니다.
  5. 컨텍스트 길이는 작업에 필요한 만큼만 잡습니다. 병렬 수를 곱한 값이 메모리 예산 안에 들어가는지 확인합니다.
  6. 그래도 부족하면 더 낮은 비트의 양자화 태그로 바꾸거나 더 작은 모델을 선택합니다.

설정 하나를 바꿀 때마다 ollama ps로 점유량을 다시 확인하세요. 공식 문서가 설명하는 관계(병렬 수 × 컨텍스트 길이에 비례하는 메모리, 메모리가 모자라면 대기열)를 기준으로 조정하면 시행착오가 크게 줄어듭니다.

자주 묻는 질문

Q. Ollama에서 모델이 안 올라가고 응답이 오래 멈추면 어떻게 하나요?

메모리가 부족하고 다른 모델이 이미 로드되어 있으면 요청이 실패하지 않고 대기열에 들어갈 수 있습니다. 먼저 ollama ps로 로드된 모델과 메모리 사용량을 확인하고, 쓰지 않는 모델을 내리세요.

Q. 모델을 메모리에 계속 두거나 바로 내리려면 어떻게 하나요?

/api/generate나 /api/chat 요청의 keep_alive를 -1로 주면 계속 로드된 상태로 남고, 0으로 주면 즉시 언로드됩니다. 이 파라미터는 OLLAMA_KEEP_ALIVE 환경 변수보다 우선합니다.

Q. OLLAMA_NUM_PARALLEL과 컨텍스트 길이는 메모리에 어떤 영향을 주나요?

공식 FAQ에 따르면 필요한 RAM은 OLLAMA_NUM_PARALLEL × OLLAMA_CONTEXT_LENGTH에 비례해 늘어납니다. 그래서 혼자 쓰는 개발용 Mac이라면 병렬은 1로 두고 컨텍스트는 작업에 필요한 만큼만 설정하는 것이 좋습니다.

참고 자료

이 글은 웹 검색으로 확인한 위 출처를 바탕으로 AI(claude-sonnet-5-5)가 작성했습니다. 수치·가격은 출처 원문에서 다시 확인하세요.

#Mac#Ollama#OLLAMA_KEEP_ALIVE#로컬 LLM#메모리 관리#양자화#컨텍스트 길이