멀티암드 밴딧

뜻풀이

쉬운 AI 사전

1. [명사] (학습) 슬롯머신 여러 대 중 어느 것이 가장 잘 나오는지 모르는 채로, 돌려 보며 이득을 가장 크게 만들 방법을 찾는 문제.

실무 AI 사전

1. [명사] (학습) 배너 광고 문구나 추천 후보 중 무엇이 가장 잘 먹히는지 실시간으로 가려낼 때 쓴다. A/B 테스트보다 성과가 나쁜 안에 트래픽을 덜 쓰는 장점이 있다.

전문 AI 사전

1. [명사] (학습) 각 선택지(arm)의 보상 분포가 미지인 상태에서 누적 보상을 최대화하거나 후회(regret)를 최소화하는 순차 결정 문제다. 입실론 그리디, UCB, 톰슨 샘플링이 대표적 알고리즘이며, 상황 정보를 쓰는 맥락적 밴딧은 개인화 추천에 쓰인다. 상태 전이가 없는 가장 단순한 강화 학습 문제로 볼 수 있다.

관용구/함께 쓰는 말

• 후회 - 매번 최적의 선택을 했을 때와 실제 선택의 보상 차이를 합친 값.
• 맥락적 밴딧 - 사용자 정보 같은 맥락을 보고 선택을 달리하는 밴딧.

쉬운 비유

카지노에서 슬롯머신 여러 대를 번갈아 당겨 보며 어느 것이 잘 터지는지 알아내면서 동시에 돈도 벌어야 하는 상황이다.

예문

• 광고 문구 다섯 개 중 반응이 좋은 문구에 노출을 자동으로 더 몰아 주는 멀티암드 밴딧을 적용했다.
• 톰슨 샘플링으로 각 팔의 성공 확률 추정에 불확실성을 반영했다.
• 멀티암드 밴딧은 A/B 테스트처럼 끝까지 기다리지 않고 도중에 비중을 조절한다.

헷갈리는 용어 비교

강화 학습

멀티암드 밴딧은 선택이 다음 상태에 영향을 주지 않는 단순한 경우이고, 일반 강화 학습은 행동이 상태를 바꿔 장기적 결과까지 고려해야 한다.

맞춤법/표기법

바른 표기

멀티암드 밴딧

주의할 표기

멀티 암드 밴딧멀티암 밴디트

원어

multi-armed bandit

다른 이름

Multi-armed Bandit, MAB, 다중 슬롯머신 문제, 밴딧 알고리즘, multi armed bandit

참고

'bandit'은 슬롯머신의 별명인 '외팔이 강도(one-armed bandit)'에서 왔다. '밴딧'으로 쓴다.

관련어