지식 증류

뜻풀이

쉬운 AI 사전

1. 「명사」 『학습』 큰 AI(선생님)가 낸 답을 작은 AI(학생)가 따라 배우게 해서 작은데도 똑똑한 모델을 만드는 방법.

전문 AI 사전

1. 「명사」 『학습』 교사 모델의 출력 분포(소프트 레이블)를 학생 모델이 모방하도록 학습하는 압축 기법. 다른 회사 모델 출력을 무단 증류하는 것은 이용 약관 위반 논란이 있다.

쉬운 비유

요리 달인이 만든 요리를 보고 수제자가 맛의 비결까지 따라 배우는 것과 비슷하다. 정답만 외우는 게 아니라 선생님이 '이 답이 얼마나 확실한지'까지 배우기 때문에 작은 모델도 꽤 똑똑해진다.

예문

• 대형 모델을 지식 증류해 만든 소형 모델이 속도는 5배 빠르다.
• 추론 비용을 줄이려고 대형 모델의 답변으로 지식 증류를 해서 사내용 소형 모델을 만들기로 했다.

헷갈리는 용어 비교

양자화

지식 증류는 큰 모델을 따라 배우는 작은 모델을 새로 학습시키는 방법이고, 양자화는 기존 모델의 숫자 정밀도를 낮춰 용량을 줄이는 방법이다. 앞의 것은 모델 구조가 바뀌고, 뒤의 것은 같은 모델을 가볍게 압축한다.

파인튜닝

파인튜닝은 정답이 붙은 데이터로 모델을 추가 학습시키는 것이고, 지식 증류는 다른 모델의 출력을 정답 삼아 학습시키는 것이다. 증류는 파인튜닝의 한 형태로 볼 수도 있지만 목적이 모델 축소에 있다.

맞춤법/표기법

바른 표기

지식 증류

주의할 표기

지식 추출

원어

knowledge distillation

다른 이름

디스틸레이션, 모델 증류

관련어

마지막 확인 2026-10-14
뜻풀이는 학습용 참고 자료입니다.