디코딩

decoding전문

다른 이름: 디코딩 전략, 생성 전략, 디코딩 방식

쉬운 AI 사전

[명사] (모델) AI가 다음에 올 수 있는 단어들의 확률을 계산한 뒤, 그중 실제로 무엇을 고를지 정하는 방법. 같은 모델이라도 고르는 방법에 따라 답이 달라진다.

실무 AI 사전

[명사] (모델) API의 온도, top_p, top_k, 최대 토큰, 정지 시퀀스 같은 설정이 모두 디코딩을 조절하는 값이다. 사실 확인용 답변은 무작위성을 낮추고, 아이디어 발상은 높이는 식으로 업무 목적에 맞춰 조정한다.

전문 AI 사전

[명사] (모델) 자기회귀 모델이 각 단계에서 내놓는 어휘 분포 p(x_t | x_<t)로부터 출력 시퀀스를 만드는 탐색 또는 샘플링 절차. 그리디, 빔 서치처럼 확률이 높은 열을 찾는 결정적 방법과 온도, top-k, top-p처럼 분포에서 뽑는 확률적 방법으로 나뉜다.

메뉴판을 보고 주문을 정하는 방식과 같다. 늘 1등 메뉴만 시킬 수도, 인기 메뉴 몇 개 중에 골라 볼 수도 있다. 메뉴판(확률)은 같아도 고르는 습관에 따라 식탁이 달라진다.

디코더: 디코더는 모델 안의 구조(트랜스포머 디코더 블록 등)를 가리키고, 디코딩은 모델이 낸 확률로 실제 토큰을 고르는 절차다. 디코더만 있는 GPT도 디코딩 방식은 여러 가지를 쓸 수 있다.
추론: 추론은 학습된 모델을 실행해 결과를 얻는 전체 과정이고, 디코딩은 그중 텍스트를 한 토큰씩 골라 내는 단계에 해당한다.