플래시 어텐션

뜻풀이

쉬운 AI 사전

1. [명사] (인프라) 어텐션 계산을 GPU 메모리 이동을 덜하도록 짜서 같은 결과를 더 빠르게, 더 적은 메모리로 얻는 기법. 긴 글도 처리하기 쉬워진다.

실무 AI 사전

1. [명사] (인프라) 긴 컨텍스트 학습과 추론의 속도와 메모리를 개선하는 표준 도구가 됐다. 결과가 정확히 같고 계산이 근사가 아니라는 점이 장점이다. 프레임워크 옵션 한 줄로 켜는 경우가 많다.

전문 AI 사전

1. [명사] (인프라) N×N 어텐션 행렬을 HBM에 통째로 쓰지 않고 SRAM에 맞는 타일 단위로 계산하며 온라인 소프트맥스로 합쳐 메모리 접근을 줄인다. 메모리 사용이 시퀀스 길이에 선형이다.

관용구/함께 쓰는 말

• 타일링 - 큰 행렬을 작은 조각으로 나눠 계산.
• 온라인 소프트맥스 - 조각마다 소프트맥스를 이어 계산하는 방식.

쉬운 비유

책상이 좁은 사람이 큰 지도를 한 번에 펴지 않고 구역을 나눠 보는 것과 비슷하다. 결과는 같은데 움직임은 줄어든다.

예문

• 플래시 어텐션을 켜니 같은 GPU에서 더 긴 문서를 학습할 수 있었다.
• 정확도는 그대로인데 학습 시간이 눈에 띄게 줄었다.

헷갈리는 용어 비교

멀티헤드 어텐션

플래시 어텐션은 새 모델 구조가 아니라 같은 어텐션을 효율적으로 구현한 방법이다. 모델 성능은 그대로이고 속도와 메모리만 달라진다.

맞춤법/표기법

바른 표기

플래시 어텐션

주의할 표기

플래쉬 어텐션

원어

FlashAttention

다른 이름

Flash Attention, 플래시어텐션, 플래시 어텐션 2

참고

표기는 'FlashAttention'. '플래시'가 맞고 '플래쉬'는 틀린 표기다.

관련어