KV 캐시

뜻풀이

쉬운 AI 사전

1. [명사] (인프라) AI가 글을 쓸 때 앞에서 이미 계산한 내용을 저장해 두고 다시 계산하지 않게 하는 임시 저장소.

실무 AI 사전

1. [명사] (인프라) 긴 대화나 긴 문서를 다룰 때 생성 속도와 비용을 좌우한다. 컨텍스트가 길수록 KV 캐시가 GPU 메모리를 많이 차지해 동시에 처리할 수 있는 요청 수가 줄어든다.

전문 AI 사전

1. [명사] (인프라) 트랜스포머 디코딩에서 이전 토큰들의 어텐션 키와 값 텐서를 층별로 저장해 두고, 새 토큰마다 쿼리만 새로 계산해 재사용하는 기법. 메모리 사용량은 층 수, 헤드 수, 시퀀스 길이에 비례해 늘어나며 GQA, 양자화, 페이지 단위 관리 등으로 줄인다.

관용구/함께 쓰는 말

• KV 캐시 재사용 — 앞서 계산한 키와 값을 다음 요청이나 다음 토큰에서 다시 쓰는 일.
• KV 캐시 메모리 — 캐시가 GPU 메모리에서 차지하는 공간.

쉬운 비유

시험 문제를 풀 때 이미 푼 앞쪽 계산 과정을 연습장에 남겨 두고, 새 줄을 풀 때 그 연습장을 그대로 보는 것과 같다.

예문

• 컨텍스트가 길어질수록 KV 캐시가 GPU 메모리를 잡아먹어 서버에 동시에 붙는 사용자 수가 줄었다.
• KV 캐시 덕분에 두 번째 토큰부터는 앞 문장을 다시 계산하지 않아도 된다.
• KV 캐시 양자화로 같은 GPU에서 더 긴 문서를 처리할 수 있게 됐다.

헷갈리는 용어 비교

프롬프트 캐싱

KV 캐시는 모델 내부에서 이전 토큰의 계산 결과를 저장하는 기술이고, 프롬프트 캐싱은 그 계산 결과를 요청 사이에 재사용해 비용과 지연을 줄이는 서비스 기능이다. 프롬프트 캐싱은 KV 캐시 위에 서 있다.

컨텍스트 윈도

컨텍스트 윈도는 모델이 한 번에 볼 수 있는 입력 길이의 한계이고, KV 캐시는 그 길이만큼 쌓이는 메모리다. 윈도가 클수록 KV 캐시 부담도 커진다.

맞춤법/표기법

바른 표기

KV 캐시

주의할 표기

케이브이캐시KV캐쉬

원어

KV cache (key-value cache)

다른 이름

키-값 캐시, KV 캐싱, key-value cache

참고

'캐시'가 표준 표기이고 '캐쉬'는 틀린 표기다. KV는 Key와 Value의 약어다.

관련어

마지막 확인 2026-10-15
뜻풀이는 학습용 참고 자료입니다.