멀티헤드 어텐션

뜻풀이

쉬운 AI 사전

1. [명사] (모델) 여러 명이 서로 다른 눈으로 같은 문장을 동시에 훑어, 단어 사이 관계를 여러 방식으로 알아내는 어텐션. 각자 본 걸 합쳐 이해한다.

실무 AI 사전

1. [명사] (모델) 트랜스포머의 핵심 부품이다. 헤드 수가 늘면 다양한 관계를 병렬로 볼 수 있다. 추론 비용을 줄이려고 헤드가 키와 값을 공유하는 MQA, GQA 변형을 쓰는 모델이 많다.

전문 AI 사전

1. [명사] (모델) 입력을 헤드마다 별도의 Q, K, V로 선형 사영해 scaled dot-product attention을 h번 병렬로 계산하고 연결한 뒤 출력 행렬로 사영한다. 각 헤드는 부분공간에서 서로 다른 관계를 포착한다.

관용구/함께 쓰는 말

• 어텐션 헤드 - 병렬로 도는 어텐션 한 개.
• GQA - 키와 값을 여러 헤드가 나눠 쓰는 변형.

쉬운 비유

한 장면을 여러 사람이 각자 다른 포인트에 집중해 본 뒤 모여 이야기하는 회의와 비슷하다.

예문

• 어떤 헤드는 문법 관계를, 어떤 헤드는 앞의 대명사를 가리키는 쪽을 본다.
• 추론 속도를 높이려고 멀티헤드 어텐션을 GQA로 바꿨다.

헷갈리는 용어 비교

셀프 어텐션

셀프 어텐션은 같은 입력 안에서 위치끼리 관계를 보는 연산이고 멀티헤드는 그것을 여러 시각으로 병렬화한 방식이다.

맞춤법/표기법

바른 표기

멀티헤드 어텐션

주의할 표기

멀티 헤드 어텐션멀티헤드어텐션

원어

multi-head attention

다른 이름

다중 헤드 어텐션, MHA, 멀티헤드 주의집중

참고

'어텐션 헤드'는 한 개의 헤드를 가리킨다.

관련어