탑-p 샘플링

top-p sampling실무

다른 이름: top-p, 뉴클리어스 샘플링, 핵 샘플링, nucleus sampling, 탑p 샘플링

쉬운 AI 사전

[명사] (프롬프트) 다음 단어 후보를 확률이 높은 순으로 줄 세운 뒤, 확률을 더해 정해진 비율(예: 90%)이 찰 때까지의 후보 안에서만 고르는 방법. 엉뚱한 단어가 나올 가능성을 줄인다.

실무 AI 사전

[명사] (프롬프트) API의 top_p 값으로 조절한다. 값을 낮추면 안전하고 뻔한 표현이, 높이면 다양한 표현이 나온다. 온도와 효과가 겹치므로 둘 중 하나만 바꾸라는 안내가 많다.

전문 AI 사전

[명사] (프롬프트) 누적 확률이 p 이상이 되는 최소 토큰 집합(핵, nucleus)으로 분포를 잘라 재정규화한 뒤 샘플링한다. Holtzman 등이 제안했으며, 분포 모양에 따라 후보 수가 자동으로 늘고 줄어 고정 개수를 쓰는 top-k의 단점을 보완한다.

뷔페에서 인기 순으로 접시를 늘어놓고, 손님 대부분이 고른 상위 메뉴들까지만 담을 수 있게 한 것과 같다. 인기 메뉴가 몇 개에 몰리면 고를 폭이 좁아지고, 고르게 퍼져 있으면 넓어진다.

탑-k 샘플링: 탑-k는 항상 상위 k개 후보에서 고르고, 탑-p는 확률 합이 p가 될 때까지의 후보에서 고른다. 그래서 탑-p는 모델이 확신할 때 후보가 적어지고, 헷갈릴 때 후보가 많아진다.
온도: 온도는 확률 분포 전체를 평평하게 하거나 뾰족하게 만들고, 탑-p는 분포의 꼬리를 잘라 낸다. 같은 다양성을 조절하지만 손대는 지점이 다르다.