Qdrant 한국어 RAG: 임베딩 모델 2종 직접 비교하기

Qdrant 한국어 RAG에서 어떤 임베딩 모델이 나을까요? Docker와 Ollama로 bge-m3 등 2종을 띄우고 Recall@k와 MRR로 직접 비교하세요.

조회 68
Qdrant 한국어 RAG: 임베딩 모델 2종 직접 비교하기

핵심 요약

  • Docker로 Qdrant를 띄우고 Ollama로 임베딩 모델 2종을 로컬에서 돌립니다.
  • 모델별 컬렉션에 같은 청크를 적재하고 분할 방식은 고정해 비교합니다.
  • 질문 30~50개로 Recall@k와 MRR을 재고 오답 유형도 직접 읽어 봅니다.

bge-m3 같은 다국어 임베딩 모델 2종을 Ollama로 돌려 벡터를 만들고, Docker로 띄운 Qdrant에 넣어 검색 품질을 비교하면 됩니다. 한국어 검색 품질은 모델 소개 문구로 알 수 없습니다. 내 문서와 내 질문으로 직접 재야 합니다. 이 글은 그 평가 환경을 만드는 순서와 측정 방법을 정리합니다.

Qdrant를 Docker로 띄우기

Qdrant 공식 퀵스타트에 따르면 Qdrant는 Docker 이미지 하나로 실행합니다. 먼저 docker pull qdrant/qdrant로 이미지를 받고, 아래 명령으로 서비스를 띄웁니다.

docker run -p 6333:6333 -p 6334:6334 \
    -v "$(pwd)/qdrant_storage:/qdrant/storage:z" \
    qdrant/qdrant

같은 문서에 따르면 기본 설정에서 모든 데이터는 ./qdrant_storage 디렉터리에 저장됩니다. 컨테이너를 지웠다가 다시 띄워도 컬렉션이 남는 이유가 이 볼륨입니다. 같은 문서에는 Windows에서는 로컬 폴더 마운트 대신 이름 있는 Docker 볼륨을 만들어야 할 수 있다는 안내도 있습니다. 퀵스타트의 Python 예제처럼 QdrantClient(url="http://localhost:6333")로 접속하면 됩니다. 이 글의 코드도 같은 방식입니다.

공식 문서는 Qdrant Quickstart에서 볼 수 있습니다.

Ollama로 임베딩 만들기

Ollama 블로그에 따르면 Ollama는 임베딩 API를 제공하므로 외부 API 없이 로컬에서 벡터를 만들 수 있습니다. 문서가 밖으로 나가지 않아서 사내 문서나 개인정보가 섞인 자료로 실험하기에도 좋습니다.

비교 후보는 두 개로 잡겠습니다. 하나는 한국어 후보로 거론되는 다국어 모델 bge-m3입니다. 다른 하나는 같은 다국어 계열인 snowflake-arctic-embed2입니다. 두 모델이 한국어에서 어느 쪽이 낫다는 수치는 이 글에서 인용하지 않습니다. 공식 발표로 확인되지 않았기 때문입니다. 아래 코드가 그 판단을 대신합니다.

ollama pull bge-m3
ollama pull snowflake-arctic-embed2

모델마다 벡터 차원이 다를 수 있습니다. 컬렉션을 만들 때 차원을 하드코딩하지 말고, 샘플 문장을 한 번 임베딩해서 길이를 읽어 쓰는 편이 안전합니다.

컬렉션 두 개로 나눠 적재하기

모델별로 컬렉션을 따로 만듭니다. 같은 문서 청크를 같은 ID로 넣고, 벡터만 모델별로 다르게 하면 비교 조건이 같아집니다.

import ollama
from qdrant_client import QdrantClient
from qdrant_client.models import VectorParams, Distance, PointStruct

client = QdrantClient(url="http://localhost:6333")
MODELS = ["bge-m3", "snowflake-arctic-embed2"]

def embed(model, texts):
    return ollama.embed(model=model, input=texts)["embeddings"]

def ingest(model, chunks):
    dim = len(embed(model, ["차원 확인"])[0])
    name = f"docs_{model.replace('-', '_')}"
    client.recreate_collection(
        collection_name=name,
        vectors_config=VectorParams(size=dim, distance=Distance.COSINE),
    )
    vecs = embed(model, chunks)
    client.upsert(name, points=[
        PointStruct(id=i, vector=v, payload={"text": c})
        for i, (v, c) in enumerate(zip(vecs, chunks))
    ])
    return name

청크 분할은 두 모델에 똑같이 적용해야 합니다. 한국어 문서는 문단이나 제목 단위로 자르고 앞뒤를 조금 겹치게 하는 방식이 무난합니다. 분할 방식을 바꾸면 모델 차이인지 분할 차이인지 구분이 안 됩니다. 비교할 때는 분할 방식을 고정하세요.

한국어 검색 품질 평가 방법

평가셋은 작게 시작해도 됩니다. 실제 문서에서 질문 30~50개를 뽑고, 각 질문마다 정답 청크 ID를 하나씩 적어 둡니다. 질문은 문서 문장을 그대로 베끼지 말고 사용자가 물을 법한 표현으로 바꿔 쓰세요. 어미, 조사, 한자어와 영어 혼용 같은 한국어 특성이 드러납니다. 예를 들어 문서에는 "환불 처리 절차"라고 쓰여 있고 질문은 "돈 돌려받으려면 어떻게 해?"인 식입니다.

지표는 두 가지면 충분합니다. 상위 k개 안에 정답이 있는 비율(Recall@k)과, 정답이 몇 번째로 나왔는지를 반영하는 MRR입니다.

def evaluate(model, name, queries, k=5):
    hits, rr = 0, 0.0
    for q, gold in queries:
        qv = embed(model, [q])[0]
        res = client.query_points(name, query=qv, limit=k).points
        ids = [p.id for p in res]
        if gold in ids:
            hits += 1
            rr += 1 / (ids.index(gold) + 1)
    n = len(queries)
    return {"recall@k": hits / n, "mrr": rr / n}

결과를 표로 정리하면 비교가 쉽습니다. 아래 칸은 직접 채워 넣는 양식이며, 수치는 문서와 질문에 따라 달라집니다.

항목 bge-m3 snowflake-arctic-embed2
Recall@5 직접 측정 직접 측정
MRR 직접 측정 직접 측정
문서 1,000청크 임베딩 시간 직접 측정 직접 측정
틀린 질문 유형 직접 기록 직접 기록

점수 차이가 작으면 속도와 메모리 사용량을 보고 고르면 됩니다. 점수가 비슷해도 틀리는 질문의 유형이 다를 수 있으니, 오답 사례를 몇 개 직접 읽어 보세요.

실천 가이드

순서는 다섯 단계입니다. 1) 위 docker run 명령으로 Qdrant를 띄우고 qdrant_storage 볼륨이 생겼는지 확인합니다. 2) Ollama로 두 모델을 받습니다. 3) 같은 청크를 모델별 컬렉션에 적재합니다. 4) 실제 질문 30~50개로 Recall@k와 MRR을 잽니다. 5) 점수와 속도, 오답 양상을 보고 모델을 하나 고릅니다.

주의할 점도 있습니다. 평가셋이 너무 작으면 한두 문제로 순위가 뒤집힙니다. 문서가 바뀌면 평가셋도 갱신해야 합니다. 모델을 바꾸면 기존 벡터와 호환되지 않으므로 컬렉션을 새로 만들어 다시 적재해야 합니다. 이때도 모델별 컬렉션을 분리해 두면 롤백이 쉽습니다.

모델 선택은 벤치마크 표보다 내 문서에서 나온 숫자가 더 믿을 만합니다. 평가 스크립트를 저장소에 남겨 두면, 새 임베딩 모델이 나왔을 때 같은 방식으로 다시 비교할 수 있습니다.

자주 묻는 질문

Q. 한국어 검색에는 bge-m3와 snowflake-arctic-embed2 중 무엇이 더 낫나요?

이 글은 어느 쪽이 낫다는 수치를 인용하지 않습니다. 공식 발표로 확인되지 않았기 때문입니다. 내 문서와 내 질문으로 Recall@k와 MRR을 직접 측정해 판단해야 합니다.

Q. 컬렉션을 만들 때 벡터 차원은 어떻게 정하나요?

모델마다 벡터 차원이 다를 수 있어서 하드코딩하지 않는 편이 안전합니다. 샘플 문장을 한 번 임베딩해 벡터 길이를 읽고 그 값을 컬렉션 설정에 쓰면 됩니다.

Q. 평가용 질문은 어떻게 만들어야 하나요?

실제 문서에서 질문 30~50개를 뽑고 질문마다 정답 청크 ID를 하나씩 적습니다. 문서 문장을 그대로 베끼지 말고 사용자가 물을 법한 표현으로 바꿔야 어미, 조사, 한자어와 영어 혼용 같은 한국어 특성이 드러납니다.

참고 자료

이 글은 웹 검색으로 확인한 위 출처를 바탕으로 AI(claude-sonnet-5-5)가 작성했습니다. 수치·가격은 출처 원문에서 다시 확인하세요.

#bge-m3#Docker#Ollama#Qdrant#RAG#벡터검색#임베딩#한국어