위치 인코딩

뜻풀이

쉬운 AI 사전

1. [명사] (모델) 단어의 순서를 모델에게 알려 주는 숫자 표시. 트랜스포머는 순서를 모르므로 번호표를 붙여 준다.

실무 AI 사전

1. [명사] (모델) 어텐션은 단어 순서를 구별하지 못하므로 위치 정보를 따로 넣는다. 긴 문맥으로 확장할 때 방식(RoPE, ALiBi)이 길이 일반화 성능에 영향을 준다.

전문 AI 사전

1. [명사] (모델) 절대 위치를 사인/코사인으로 더하는 방식, 학습형 위치 임베딩, 쿼리/키를 회전시켜 상대 위치를 반영하는 RoPE 등이 있다. 위치 정보는 셀프 어텐션의 순열 불변성을 깨 준다.

관용구/함께 쓰는 말

• RoPE - 위치를 회전으로 표현하는 방식.
• 상대 위치 - 두 토큰 사이 거리를 쓰는 방식.

쉬운 비유

영화 대본의 장면에 번호를 매겨 두는 것과 비슷하다. 번호가 있어야 줄거리 순서가 맞는다.

예문

• 위치 인코딩이 없으면 '개가 사람을 문다'와 '사람이 개를 문다'를 구별하지 못한다.
• 컨텍스트를 늘리려고 RoPE 스케일을 조정했다.

헷갈리는 용어 비교

임베딩

임베딩은 토큰의 뜻을 벡터로 나타내고, 위치 인코딩은 그 토큰이 어느 자리인지를 더해 준다.

맞춤법/표기법

바른 표기

위치 인코딩

주의할 표기

위치인코딩포지션 인코딩

원어

positional encoding

다른 이름

포지셔널 인코딩, 위치 임베딩, positional embedding, 위치 부호화, RoPE

참고

'위치 임베딩'과 혼용한다. 정확히 고정이면 인코딩, 학습형이면 임베딩이다.

관련어