ReLU

뜻풀이

쉬운 AI 사전

1. [명사] (모델) 들어온 값이 0보다 작으면 0으로 바꾸고, 0보다 크면 그대로 내보내는 아주 단순한 활성화 함수. 계산이 빨라 딥러닝에서 가장 널리 쓰여 왔다.

실무 AI 사전

1. [명사] (모델) 은닉층의 기본값처럼 쓰는 활성화 함수다. 시그모이드보다 깊은 망에서 기울기가 잘 전달돼 학습이 빠르지만, 음수 입력만 받는 뉴런이 계속 0만 내는 '죽은 ReLU' 문제가 생길 수 있어 학습률을 낮추거나 리키 ReLU 같은 변형을 쓴다.

전문 AI 사전

1. [명사] (모델) f(x) = max(0, x). 양수 구간 도함수가 1이라 포화가 없어 기울기 소실이 줄고, 음수 구간 출력이 0이 되어 희소한 활성화를 만든다. x = 0에서는 미분할 수 없지만 구현에서는 보통 기울기를 0으로 둔다. 변형으로 Leaky ReLU, ELU, GELU 등이 있다.

관용구/함께 쓰는 말

• 죽은 ReLU - 입력이 늘 음수가 되어 출력과 기울기가 0에 묶인 채 더 이상 학습되지 않는 뉴런.
• 리키 ReLU - 음수 구간에도 작은 기울기를 남겨 죽은 ReLU를 막는 변형.

쉬운 비유

음수는 무조건 0으로 잘라 내는 문지기다. 마이너스 점수는 받지 않고 플러스 점수만 그대로 통과시킨다.

예문

• CNN 예제 코드는 합성곱 층 뒤에 거의 습관처럼 ReLU를 붙인다.
• 학습률을 너무 크게 잡았더니 ReLU 뉴런 상당수가 죽어서 출력이 계속 0이었다.

헷갈리는 용어 비교

시그모이드

시그모이드는 출력을 0과 1 사이로 눌러 확률처럼 쓰기 좋지만 입력이 크거나 작으면 기울기가 0에 가까워진다. ReLU는 양수 구간에서 기울기가 1로 일정해 깊은 망의 은닉층에 더 알맞다.

맞춤법/표기법

바른 표기

ReLU

주의할 표기

ReluRELU릴루

원어

ReLU (Rectified Linear Unit)

다른 이름

렐루, 정류 선형 유닛, ReLU 함수

참고

대소문자를 섞어 'ReLU'로 쓰는 것이 관례다. 읽을 때는 보통 '렐루'라고 한다.

관련어