A/B 테스트

뜻풀이

쉬운 AI 사전

1. [명사] (평가) 사용자를 무작위로 두 무리로 나눠 한쪽에는 A, 다른 쪽에는 B를 보여 주고 어느 쪽 반응이 더 좋은지 비교하는 실험.

실무 AI 사전

1. [명사] (평가) 새 추천 모델이나 챗봇 답변 방식을 실제 서비스에 넣기 전에 일부 사용자에게만 적용해 클릭률, 구매율, 해결률을 비교한다. 오프라인 평가 점수가 좋아도 실제 사용자 반응은 다를 수 있어 이 단계를 거친다.

전문 AI 사전

1. [명사] (평가) 무작위 대조 실험(RCT)의 한 형태로, 처치군과 대조군의 지표 차이를 가설 검정으로 판단한다. 표본 크기, 실험 기간, 여러 지표를 동시에 볼 때 생기는 다중 비교 문제를 미리 설계해야 한다.

관용구/함께 쓰는 말

• A/B 테스트를 돌리다 - 두 안을 실제 사용자에게 나눠 보여 주고 비교하다.
• 대조군 - 기존 방식을 그대로 받는 비교 집단.

쉬운 비유

빵집에서 손님 절반에게는 기존 빵, 절반에게는 새 빵을 시식시키고 어느 쪽이 더 팔리는지 보는 것과 같다.

예문

• 새 추천 모델을 사용자 10%에게만 켜 두고 2주간 A/B 테스트를 했다.
• 오프라인 점수는 올랐는데 A/B 테스트에서는 구매율 차이가 없었다.

헷갈리는 용어 비교

오프라인 평가

오프라인 평가는 모아 둔 데이터로 모델 점수를 재는 것이고, A/B 테스트는 실제 사용자 행동으로 효과를 재는 것이다. 둘 결과가 어긋나는 일이 흔하다.

맞춤법/표기법

바른 표기

A/B 테스트

주의할 표기

에이/비 테스트

원어

A/B testing

다른 이름

AB 테스트, 에이비 테스트, 분할 테스트, A/B 실험

참고

빗금을 넣어 'A/B 테스트'로 쓰고, '테스트' 앞은 띄어 쓴다.

관련어