BM25

뜻풀이

쉬운 AI 사전

1. [명사] (데이터) 문서에 질문 속 단어가 얼마나 자주, 얼마나 특별하게 나오는지로 점수를 매기는 전통적인 검색 공식.

실무 AI 사전

1. [명사] (데이터) 엘라스틱서치 같은 검색 엔진의 기본 점수 방식이다. 단어 일치에 강해 하이브리드 검색에서 벡터 검색의 짝으로 자주 쓴다.

전문 AI 사전

1. [명사] (데이터) TF-IDF 계열의 확률적 관련성 모델. 단어 빈도(TF)를 포화시키고 문서 길이로 정규화하며 역문서 빈도(IDF)로 희귀 단어에 가중치를 준다. k1과 b 두 하이퍼파라미터로 포화 정도와 길이 보정을 조절한다.

관용구/함께 쓰는 말

• BM25 점수 - 질문과 문서의 단어 일치로 계산한 관련도.
• 키워드 검색 - 단어 일치를 기반으로 하는 검색.

쉬운 비유

책 뒤 찾아보기에서 단어가 몇 번 나오는지와 그 단어가 얼마나 드문지를 따져 어느 쪽이 더 관련 있는지 매기는 것과 같다.

예문

• BM25로 먼저 후보 100개를 뽑고 벡터 검색 결과와 합쳤다.
• BM25는 질문에 쓰인 단어가 문서에 없으면 점수를 주지 못한다.
• 한국어 문서에는 BM25 전에 형태소 분석으로 토큰을 나누면 검색 품질이 좋아진다.

헷갈리는 용어 비교

TF-IDF

TF-IDF는 단어 빈도와 희귀도를 곱한 고전 가중치이고, BM25는 이를 개선해 빈도 효과가 무한히 커지지 않게 하고 문서 길이도 보정한 점수식이다.

시맨틱 검색

BM25는 단어가 겹쳐야 점수를 받지만, 시맨틱 검색은 단어가 달라도 뜻이 가까우면 찾는다.

맞춤법/표기법

바른 표기

BM25

주의할 표기

비엠25BM-25

원어

BM25 (Best Matching 25)

다른 이름

Okapi BM25, BM 25, 오카피 BM25

참고

읽을 때는 '비엠이십오'. 이름의 25는 알고리즘 개발 과정의 번호에서 유래한다.

관련어