교차 어텐션

뜻풀이

쉬운 AI 사전

1. [명사] (모델) 한쪽(질문, 생성 중인 글)이 다른 쪽(원문, 이미지)을 참고하며 필요한 부분에 집중하는 어텐션. 서로 다른 입력을 연결할 때 쓴다.

실무 AI 사전

1. [명사] (모델) 번역 모델에서 디코더가 원문을 보거나, 이미지 생성 모델이 글 지시를 참고할 때 쓴다. 멀티모달 모델에서 이미지와 글을 잇는 주요 방법 중 하나다.

전문 AI 사전

1. [명사] (모델) 쿼리는 한 시퀀스에서, 키와 값은 다른 시퀀스에서 만든다. 셀프 어텐션은 Q, K, V가 모두 같은 시퀀스에서 나온다는 점이 다르다. 확산 모델의 텍스트 조건화에도 쓴다.

관용구/함께 쓰는 말

• 텍스트 조건화 - 글 지시를 생성에 반영하는 일.
• Q/K/V - 어텐션의 질문, 열쇠, 값.

쉬운 비유

독서 토론에서 내 질문(쿼리)을 들고 다른 사람의 자료(키와 값)를 뒤적이는 것과 비슷하다.

예문

• 이미지 생성 모델은 교차 어텐션으로 프롬프트의 단어에 그림의 영역을 맞춘다.
• 번역에서 디코더가 교차 어텐션으로 원문을 다시 본다.

헷갈리는 용어 비교

셀프 어텐션

셀프 어텐션은 같은 문장 안에서 서로를 보고, 교차 어텐션은 다른 입력을 본다.

맞춤법/표기법

바른 표기

교차 어텐션

원어

cross-attention

다른 이름

크로스 어텐션, 크로스어텐션, encoder-decoder attention, 교차 주의

참고

'크로스 어텐션'으로 쓰는 일이 많다.

관련어