임베딩 & 리랭커 모델

1. 왜 두 단계인가 — Recall vs Precision

매물 DB 가 50,000건 있을 때, 사용자 쿼리에 대해 가장 적합한 매물 5건을 찾는다고 하자. 두 가지 극단이 있다.

2-stage retrieval 은 두 극단의 절충 — 임베딩으로 50~100건 recall, 리랭커로 top-10 precision. 전수 비교 대비 500~1000× 빠르면서 벡터-only 대비 정확도 +20~40%p.

2. Bi-encoder vs Cross-encoder

둘의 본질적 차이는 query 와 document 가 모델 내부에서 만나는가이다.

그래서 둘은 경쟁이 아니라 직렬 조합이다. Bi-encoder 가 ANN 으로 50건 좁히고, Cross-encoder 가 그 50건에 대해서만 정밀 채점.

3. 임베딩 모델 — Google Gemini Embedding 2

모델 ID: google/gemini-embedding-2-preview (OpenRouter passthrough).

3.1 Matryoshka Representation Learning (MRL)

MRL 은 학습 기법이지 별도 아키텍처가 아니다. 2022 NeurIPS (Kusupati et al.) 논문이 원조. 핵심 아이디어:

결과: vec[:768] 만 잘라 써도 품질 90%+ 보존. 저장·검색 비용을 직선적으로 줄일 수 있는 nested embedding. 권장 차원은 3072 / 1536 / 768.

3.2 비대칭 임베딩 (Asymmetric Retrieval)

같은 텍스트라도 역할(query vs document)에 따라 다른 벡터로 표현하는 기법.

# Vertex AI / Google AI Studio 직접 호출 시
embed(text="강남 30평대 신축", task_type="RETRIEVAL_QUERY")     # 짧은 질문
embed(text="강남구 역삼동 ...",  task_type="RETRIEVAL_DOCUMENT")  # 긴 매물 설명

동일 텍스트라도 RETRIEVAL_QUERY 와 RETRIEVAL_DOCUMENT 의 벡터는 다르다. Q&A 처럼 짧은 질문이 긴 문서를 찾는 비대칭 시나리오에 최적화됨. Symmetric similarity 모델 대비 retrieval 품질이 명확히 향상.

4. 리랭커 모델 — Cohere Rerank 4 Pro

모델 ID: cohere/rerank-4-pro (OpenRouter passthrough).

4.1 왜 32K 가 중요한가

이전 세대 reranker (BGE-reranker-v2-m3) 는 max_length 512. 한국어 매물 description 은 한자 2~3천자 흔하다 → 토큰화하면 1500~3000 토큰. 512 안에 우겨넣으려면 심한 truncate 필요 → 가격·구조·옵션 같은 후반부 정보가 잘려 정확도 손실.

Rerank 4 Pro 는 32K → description 전체 + address + agent comment 까지 한 번에 reranker 에 던질 수 있다. 코드의 DEFAULT_TEXT_CHARS = 2000 안전 cap 은 레이턴시·비용 절약용이지 모델 한계가 아니다.

4.2 Cohere 공식 API vs OpenRouter wrapper

5. 파이프라인 — 코드 흐름

사용자 질의가 LLM 답변으로 변환되기까지의 retrieval stage:

레이턴시 합 ~2s. 임베딩이 가장 싸고 빠르므로 ANN 단계는 후보를 50~100 까지 키워도 무방. reranker 가 가장 비싸므로 top-10 ~ top-20 으로 제한.

6. 어댑터 코드 매핑

두 모델은 hexagonal 구조의 adapter 로 격리되어 있다 — 도메인은 port 만 보고, 구현은 언제든 교체 가능.

# poc-chat-search/src/adapters/embedding/openrouter_gemini_adapter.py
MODEL_NAME = "google/gemini-embedding-2-preview"
DEFAULT_DIMENSIONS = 3072
DEFAULT_BATCH_SIZE = 32  # 수백건 동시 시 OpenRouter 빈 응답 이슈

def embed_query(self, text: str) -> EmbeddingResult:
    vec = self._post([text], task_type="RETRIEVAL_QUERY")[0]
    return EmbeddingResult(vector=vec, dimensions=len(vec))

def embed_document(self, text: str) -> EmbeddingResult:
    vec = self._post([text], task_type="RETRIEVAL_DOCUMENT")[0]
    return EmbeddingResult(vector=vec, dimensions=len(vec))

# poc-chat-search/src/adapters/reranker/openrouter_cohere_adapter.py
MODEL_NAME = "cohere/rerank-4-pro"

def rerank(self, query, candidates, *, top_k=10, text_chars=None):
    cap = text_chars or self.DEFAULT_TEXT_CHARS  # 2000자
    documents = [
        f"{c.get('address','')} {str(c.get('description',''))[:cap]}".strip()
        for c in candidates
    ]
    r = self._client.post("/rerank", json={
        "model": self._model_name,
        "query": query,
        "documents": documents,
        "top_n": top_k,
    })
    # 응답: {"results": [{"index": int, "relevance_score": float}, ...]}