프롬프트 캐싱

뜻풀이

쉬운 AI 사전

1. [명사] (서비스) 같은 앞부분 글을 매번 처음부터 읽지 않고 저장해 둔 걸 다시 쓰게 해서 빠르고 싸게 만드는 기능.

실무 AI 사전

1. [명사] (서비스) 긴 시스템 프롬프트나 참고 문서를 매 호출마다 보낼 때 앞부분 처리 결과를 재사용해 지연과 입력 비용을 줄인다. 보통 앞부분이 완전히 같아야 적중하므로, 바뀌지 않는 내용을 앞에, 자주 바뀌는 내용을 뒤에 둔다.

전문 AI 사전

1. [명사] (서비스) 요청의 앞쪽 접두사(prefix)에 대한 KV 캐시를 서버에서 일정 시간 보관했다가 접두사가 일치하는 후속 요청에 재사용하는 기능. 적중 조건, 유효 시간, 과금 방식은 제공사마다 다르므로 문서를 확인해야 한다.

관용구/함께 쓰는 말

• 캐시 적중 - 앞서 저장한 내용을 다시 쓰게 된 상태.
• 캐시 유효 시간 - 저장된 내용이 유지되는 기간.

쉬운 비유

매일 같은 서류 앞 장을 복사해 두었다가 새 서류의 뒷장만 붙여서 내는 것과 같다. 앞 장은 한 번만 만들면 된다.

예문

• 제품 매뉴얼 200쪽을 앞에 고정해 두고 프롬프트 캐싱을 적용하니 질문마다 드는 입력 비용이 크게 줄었다.
• 시스템 프롬프트에 오늘 날짜를 맨 앞에 넣었더니 매번 내용이 달라져 프롬프트 캐싱이 전혀 적중하지 않았다.
• 프롬프트 캐싱은 앞부분이 같을 때만 맞으니 고정 내용을 앞에 두자.

헷갈리는 용어 비교

KV 캐시

KV 캐시는 모델 내부에서 이전 토큰의 계산 결과를 보관하는 기술이고, 프롬프트 캐싱은 그것을 요청 사이에 이어서 쓰게 하는 사용자 쪽 기능이다. 사용자는 프롬프트의 앞부분을 고정해 적중을 높인다.

RAG

RAG는 필요한 문서를 매번 찾아 넣는 방식이라 프롬프트가 요청마다 달라진다. 프롬프트 캐싱은 앞부분이 같은 요청이 반복될 때 효과가 크다.

맞춤법/표기법

바른 표기

프롬프트 캐싱

주의할 표기

프롬프트 캐슁프롬프트캐싱

원어

prompt caching

다른 이름

프롬프트 캐시, 프롬프트 캐쉬, 컨텍스트 캐싱, context caching

참고

'캐싱'이 표준 표기다. 같은 개념을 컨텍스트 캐싱이라 부르는 제공사도 있다.

관련어