제목 (15).png

쿼리와 유사 청크 간 유사도 비교

사용자의 쿼리 "보험금 지급 제한 사항"에 대해 세 가지 임베딩 모델(KoSim, OpenAI, BGE-M3)을 사용하여 유사 청크 1, 2, 3, 4, 5의 유사도 점수를 비교하고, 어떤 모델이 가장 높은 유사도를 제공하는지 확인 해보겠습니다.

분석 방법

  1. 쿼리 키워드 식별: 쿼리 "보험금 지급 제한 사항"의 핵심 키워드는 "보험금", "지급", "제한", "사항"입니다.
  2. 유사도 평가 기준:
  3. 점수화: 0에서 1 사이의 값으로 유사도를 평가하며, 1에 가까울수록 쿼리와 더 관련성이 높음을 의미합니다.

각 모델별 유사 청크와 점수

1. KoSim (1번 데이터)

유사 청크 내용 요약 KoSim 제공 점수 직접 계산한 점수 평가 이유
chunk 78 면책조건으로 보험금 지급 제한 0.5685 0.85 "보험금 지급 제한" 직접 언급, 면책기간 상세 설명으로 쿼리와 높은 관련성
chunk 12 지급 제한 또는 삭감 가능 0.5656 0.75 "지급 제한" 명시, 삭감 관련 내용 포함, 일부 간접적 내용 혼재
chunk 7 보험금 지급 제한 조건 (면책기간, 감액지급) 0.5609 0.80 "보험금 지급 제한" 명시, 구체적 제한 조건 포함
chunk 8 면책기간, 감액지급, 보장한도 0.5563 0.78 "보험금 지급 제한" 관련 조건 다수 포함, 일부 세부사항 추가
chunk 9 해약환급금, 보장성보험 특성 0.5525 0.40 "보험금 지급 제한"과 직접적 연관 적음, 주로 해약환급금 중심

2. OpenAI (2번 데이터)

유사 청크 내용 요약 OpenAI 제공 점수 직접 계산한 점수 평가 이유
chunk 12 지급 제한 또는 삭감 가능 0.5240 0.75 "지급 제한" 명시, 삭감 관련 내용 포함, 일부 간접적 내용 혼재
chunk 34 보험금 청구 및 지급 절차 0.5151 0.45 "보험금 지급" 언급, 제한보다는 절차 중심, 간접적 관련성
chunk 135 급여 정지, 보험급여 제한 기간 0.4779 0.60 "보험급여 제한" 유사 개념 포함, 보험금 지급 제한과 간접적 관련성
chunk 182 보험금 지급 공고, 계산 방법 0.4762 0.35 "보험금 지급" 언급, 제한보다는 계산/절차 중심, 낮은 관련성
chunk 184 보험금 지급 한도, 지급 보류 0.4724 0.55 "보험금 지급 한도" 포함, 제한과 유사하나 구체성 부족

3. BGE-M3 (3번 데이터)

유사 청크 내용 요약 BGE-M3 제공 점수 직접 계산한 점수 평가 이유
chunk 87 보험금 감액법, 삭감기간 0.7464 0.90 "보험금 지급 제한" 직접 관련, 감액법 상세 설명으로 매우 높은 관련성
chunk 12 지급 제한 또는 삭감 가능 0.7369 0.75 "지급 제한" 명시, 삭감 관련 내용 포함, 일부 간접적 내용 혼재
chunk 35 보험금 지급 절차, 지급 지연 사유 0.7301 0.50 "보험금 지급" 언급, 제한 사유 일부 포함하나 절차 중심
chunk 182 보험금 지급 공고, 계산 방법 0.7288 0.35 "보험금 지급" 언급, 제한보다는 계산/절차 중심, 낮은 관련성
chunk 63 보험금 지급 제외 재해 분류 0.7223 0.70 "보험금 지급 제외" 명시, 제한 사유 구체적이나 재해에 한정

모델별 최고 유사도 청크 비교

모델 최고 유사 청크 제공 점수 직접 계산 점수 쿼리와의 관련성
KoSim chunk 78 0.5685 0.85 면책조건으로 보험금 지급 제한 상세 설명
OpenAI chunk 12 0.5240 0.75 지급 제한 및 삭감 가능성 명시
BGE-M3 chunk 87 0.7464 0.90 보험금 감액법, 삭감기간으로 제한 사항 구체적 설명