잔차 연결

뜻풀이

쉬운 AI 사전

1. [명사] (모델) 층을 거친 결과에 원래 입력을 그대로 더해 주는 지름길. 층이 아주 깊어도 학습이 잘 된다.

실무 AI 사전

1. [명사] (모델) 깊은 CNN과 모든 트랜스포머 블록에 들어 있다. 층을 더 쌓았는데 성능이 나빠지는 문제를 줄이고 기울기 소실을 막는다. 입력과 출력의 차원이 다르면 선형 변환으로 맞춘 뒤 더한다.

전문 AI 사전

1. [명사] (모델) y = x + F(x) 꼴로, 층이 전체 변환 대신 잔차 F(x)만 학습하게 한다. 역전파 때 항등 경로로 기울기가 감쇠 없이 흐르며, 항등 사상을 학습하기 쉬워 깊이를 늘려도 최적화가 어려워지는 열화 문제를 완화한다.

관용구/함께 쓰는 말

• 잔차 블록 - 잔차 연결을 포함한 층 묶음.
• 항등 경로 - 입력을 그대로 전달하는 지름길.

쉬운 비유

계단을 오르며 층마다 새로 배우되 엘리베이터도 함께 둔 것과 비슷하다. 어떤 층이 쓸모없어도 엘리베이터로 정보가 그대로 올라간다.

예문

• ResNet은 잔차 연결을 도입해 100층이 넘는 네트워크도 학습할 수 있게 만들었다.
• 트랜스포머 블록은 어텐션과 피드포워드 각각에 잔차 연결이 붙어 있다.

헷갈리는 용어 비교

기울기 소실

잔차 연결은 소실을 줄이는 구조적 해결책이다. 기울기 소실은 증상 이름이고 잔차 연결, ReLU, 정규화는 처방이다.

맞춤법/표기법

바른 표기

잔차 연결

주의할 표기

잔차연결레지듀얼 커넥션

원어

residual connection

다른 이름

스킵 연결, skip connection, 숏컷 연결, 잔차 학습, ResNet 연결

참고

'스킵 연결'로도 부른다. 정확히는 더하는 방식을 잔차, 이어 붙이는 방식은 U-Net 같은 다른 스킵이다.

관련어