SFT

뜻풀이

쉬운 AI 사전

1. [명사] (학습) 정답이 달린 예시를 보여 주며 AI에게 '이렇게 답해야 해'를 가르치는 추가 학습.

실무 AI 사전

1. [명사] (학습) 사전 학습된 모델에 사람이 쓴 모범 질문과 답변을 학습시켜 원하는 형식과 말투를 익히게 한다. 보통 선호 기반 정렬 이전 단계이며, 적은 양이라도 품질이 좋은 데이터가 중요하다.

전문 AI 사전

1. [명사] (학습) 입력과 목표 출력 쌍에 대해 다음 토큰 예측의 교차 엔트로피 손실로 모델을 미세 조정하는 지도 학습 단계. 보통 응답 부분의 토큰에만 손실을 계산하고, RLHF나 DPO 같은 정렬 단계의 초기 정책을 만든다.

관용구/함께 쓰는 말

• SFT 데이터 - 지시와 정답 응답을 짝지어 만든 학습 자료.
• SFT 단계 - 정렬 학습 중 지도 학습으로 형식을 익히는 첫 단계.

쉬운 비유

요리 학원에서 먼저 완성된 요리와 레시피를 보여 주고 똑같이 따라 만들게 하는 단계와 같다.

예문

• SFT 데이터를 사람이 직접 써 보니 천 건만 있어도 응답 형식이 눈에 띄게 안정됐다.
• SFT를 한 뒤에 DPO로 선호도를 맞추는 순서로 학습 계획을 잡았다.
• SFT 데이터에 틀린 답이 섞이면 모델이 그 습관까지 그대로 배운다.

헷갈리는 용어 비교

RLHF

SFT는 정답 예시를 따라 하게 하는 학습이고, RLHF는 사람이 어느 답이 더 좋은지 매긴 선호를 보상으로 삼아 모델을 다듬는 학습이다. 보통 SFT 다음에 RLHF를 한다.

사전 학습

사전 학습은 대규모 텍스트로 언어 자체를 배우게 하는 단계이고, SFT는 그 위에 소량의 정답 데이터로 쓰임새를 가르치는 단계다.

맞춤법/표기법

바른 표기

SFT

주의할 표기

S.F.T에스에프티

원어

supervised fine-tuning (SFT)

다른 이름

지도 미세 조정, 지도 파인튜닝, supervised finetuning

참고

'에스에프티'보다 'SFT'로 적는 경우가 대부분이다.

관련어