어텐션

뜻풀이

쉬운 AI 사전

1. [명사] (모델) AI가 글을 읽을 때 지금 보는 단어와 관련 깊은 다른 단어에 더 집중하도록 하는 장치.

전문 AI 사전

1. [명사] (모델) 쿼리, 키, 값 벡터의 내적으로 토큰 간 관련도를 계산해 가중 평균을 취하는 연산. 같은 시퀀스 안에서 수행하면 셀프 어텐션, 여러 개를 병렬로 두면 멀티헤드 어텐션이라 한다.

쉬운 비유

시험 공부를 할 때 교과서 전체가 아니라 문제와 관련된 부분에 형광펜을 칠하는 것과 같다. 중요한 단어에 더 눈길을 주면서 문장을 이해한다.

예문

• 어텐션 덕분에 문장 앞뒤 멀리 떨어진 단어도 연결해 이해한다.
• 긴 문장에서 주어와 서술어가 멀어도 어텐션이 둘의 관계를 이어 준다.

헷갈리는 용어 비교

트랜스포머

어텐션은 단어 사이 관련도를 계산하는 방법이고, 트랜스포머는 이 어텐션을 중심으로 쌓아 만든 모델 구조 전체다.

컨텍스트 윈도

어텐션은 읽는 범위 안에서 무엇에 집중할지 정하는 방법이고, 컨텍스트 윈도는 그 읽는 범위의 최대 크기다. 윈도가 넓을수록 어텐션이 살펴야 할 양도 늘어난다.

맞춤법/표기법

바른 표기

어텐션

주의할 표기

어텐숀어텐션 메카니즘

원어

attention

다른 이름

주의 집중, 어텐션 메커니즘, 셀프 어텐션

참고

'메커니즘'이 바른 표기다(메카니즘 ×).

관련어