탑-k 샘플링

뜻풀이

쉬운 AI 사전

1. [명사] (프롬프트) 다음 단어 후보 가운데 확률이 가장 높은 k개만 남기고 그 안에서 무작위로 고르는 방법. k가 작을수록 무난한 답이 나온다.

실무 AI 사전

1. [명사] (프롬프트) 일부 API와 오픈 소스 추론 엔진에서 top_k 값으로 설정한다. 확률이 아주 낮은 엉뚱한 토큰을 원천 차단하는 용도로, 탑-p나 온도와 함께 쓰는 경우가 많다.

전문 AI 사전

1. [명사] (프롬프트) 각 단계에서 확률 상위 k개 토큰으로 분포를 잘라 재정규화한 뒤 샘플링하는 방법. 분포가 뾰족할 때도 평평할 때도 같은 k를 쓰므로, 상황에 따라 후보가 지나치게 많거나 적어지는 한계가 있다.

관용구/함께 쓰는 말

• top_k 값 - 후보로 남길 토큰 개수를 정하는 파라미터.

쉬운 비유

오디션 결선에 늘 딱 5팀만 올리는 규칙과 같다. 실력 차가 크든 작든 정확히 5팀이 올라간다.

예문

• 오픈 소스 모델을 돌릴 때 top-k를 40 정도로 두고 시작하는 경우가 많다.
• top-k를 1로 두면 사실상 그리디 디코딩과 같아진다.

헷갈리는 용어 비교

탑-p 샘플링

탑-k는 후보 개수를 고정하고, 탑-p는 후보의 확률 합을 고정한다. 탑-k는 단순하고 예측 가능하며, 탑-p는 상황에 따라 후보 폭을 스스로 맞춘다.

맞춤법/표기법

바른 표기

탑-k 샘플링

주의할 표기

탑케이 셈플링톱키 샘플링

원어

top-k sampling

다른 이름

top-k, 탑k 샘플링, 톱k 샘플링

참고

업계에서는 '탑-k' 또는 영문 'top-k'로 적고, k는 영문 소문자로 둔다.

관련어