루프 트랜스포머

뜻풀이

쉬운 AI 사전

1. [명사] (모델) 같은 층 묶음을 여러 번 되돌려 돌리는 AI 모델 구조. 모델 크기를 키우지 않고도 '더 오래 생각하게' 만들 수 있지만, 속으로 생각해서 사람이 읽을 수 있는 사고 과정이 줄어드는 점이 논란이다.

전문 AI 사전

1. [명사] (모델) 트랜스포머의 일부 블록을 토큰마다 가변 횟수로 반복 적용해 파라미터 수를 늘리지 않고 유효 깊이를 키우는 구조. 추론 시 반복 횟수를 늘려 연산을 더 쓰는 테스트 타임 연산의 한 형태로, 잠재 공간에서 추론이 이뤄지므로 사고 연쇄처럼 글로 드러나는 중간 과정이 적어 감시 가능성 문제가 제기된다.

쉬운 비유

같은 계단을 한 번 오르는 대신 몇 바퀴 더 돌아 오르는 것과 같다. 계단을 새로 짓지 않고도 높이 올라가지만, 밖에서는 몇 바퀴 돌았는지 보이지 않는다.

예문

• 루프 트랜스포머는 작은 모델로도 어려운 수학 문제에서 좋은 성적을 냈다.
• 루프 트랜스포머는 생각을 글로 안 내놓아서 안전 검사가 어렵다는 지적이 있다.

헷갈리는 용어 비교

트랜스포머

보통 트랜스포머는 층을 한 번씩 차례로 지나지만, 루프 트랜스포머는 같은 층 묶음을 여러 번 되돌려 지난다. 층 수를 늘리지 않고 깊이를 얻는 점이 다르다.

추론 모델

추론 모델은 답하기 전에 글로 된 사고 과정을 길게 생성해 성능을 높이고, 루프 트랜스포머는 글 대신 모델 안쪽 계산을 반복해 성능을 높인다. 사고 과정이 밖으로 보이느냐가 다르다.

맞춤법/표기법

바른 표기

루프 트랜스포머

주의할 표기

룹 트랜스포머루프트랜스포머 (붙여쓰기)

원어

looped transformer

다른 이름

루프드 트랜스포머, 재귀 깊이 모델, recurrent depth

참고

loop는 되돌아 도는 고리를 뜻한다. 논문에서는 '재귀 깊이(recurrent depth)'라고도 부른다.

관련어