하이퍼파라미터

뜻풀이

쉬운 AI 사전

1. [명사] (학습) 모델이 학습을 시작하기 전에 사람이 미리 정해 두는 설정값. 학습 속도나 모델 크기 같은 것이다.

실무 AI 사전

1. [명사] (학습) 실무에서는 학습률, 배치 크기, 나무 개수, 층 수 등이 해당한다. 같은 모델이라도 값에 따라 성능이 크게 달라져서, 검증 데이터로 비교해 정한다.

전문 AI 사전

1. [명사] (학습) 학습으로 갱신되는 파라미터(가중치)와 달리, 학습 알고리즘이나 모델 구조를 정하는 외부 설정이다. 보통 검증 성능을 기준으로 탐색하며, 테스트 데이터로 고르면 평가가 부풀려지는 데이터 누수가 생긴다.

관용구/함께 쓰는 말

• 하이퍼파라미터 설정 - 학습 전에 학습률, 배치 크기 등을 정해 두는 일.
• 기본값 그대로 - 라이브러리가 미리 정해 둔 하이퍼파라미터를 바꾸지 않고 쓰는 것.

쉬운 비유

요리에서 재료의 양은 조리 중에 바뀌는 상태가 아니라, 조리 전에 레시피로 정하는 값이다. 불의 세기와 조리 시간을 미리 정하는 것이 하이퍼파라미터다.

예문

• 학습률이라는 하이퍼파라미터를 10배 줄였더니 학습이 안정적으로 수렴했다.
• 논문과 같은 하이퍼파라미터를 써도 데이터가 다르면 결과가 달라진다.
• 하이퍼파라미터는 검증 데이터로 정하고, 테스트 데이터는 마지막에 한 번만 본다.

헷갈리는 용어 비교

파라미터

파라미터는 학습 중에 데이터로부터 자동으로 갱신되는 값(가중치 등)이고, 하이퍼파라미터는 학습 전에 사람이 정해 두는 값이다.

맞춤법/표기법

바른 표기

하이퍼파라미터

주의할 표기

하이퍼 파라메터하이퍼파라메터

원어

hyperparameter

다른 이름

Hyperparameter, 하이퍼 파라미터, 초매개변수, 초모수

참고

'parameter'는 '파라미터'로 적는다. 우리말로는 '초매개변수'라고도 한다.

관련어