레이턴시

뜻풀이

쉬운 AI 사전

1. [명사] (인프라) 요청을 보내고 답이 돌아올 때까지 걸리는 시간. 짧을수록 빠르게 느껴진다.

실무 AI 사전

1. [명사] (인프라) 챗봇에서는 질문 후 첫 글자가 나오기까지의 시간과 전체 답이 끝나기까지의 시간을 따로 잰다. 모델이 클수록, 프롬프트가 길수록 느려지므로 사용자 경험과 비용 사이의 타협점이 된다.

전문 AI 사전

1. [명사] (인프라) 요청 도착부터 응답 완료까지의 소요 시간으로 평균보다 p95, p99 같은 꼬리 지연을 중시한다. LLM에서는 첫 토큰까지 시간(TTFT)과 토큰당 생성 시간(TPOT)으로 나누어 본다. 처리량과 상충하는 경우가 많다.

관용구/함께 쓰는 말

• 꼬리 지연 - 전체 요청 중 가장 느린 일부 요청의 응답 시간.
• 첫 토큰까지 시간 - LLM이 첫 글자를 내놓기까지 걸리는 시간.

쉬운 비유

택배 주문 후 도착까지 걸리는 시간과 같다. 한 번에 많이 나르는 능력(처리량)과는 다른 얘기다.

예문

• 레이턴시가 3초를 넘으면 사용자가 이탈해서 모델 크기를 줄이기로 했다.
• 첫 글자가 나오기까지 레이턴시는 짧은데 답이 끝나기까지는 오래 걸린다.
• 서버가 멀어서 레이턴시가 늘었다.

헷갈리는 용어 비교

처리량

레이턴시는 한 요청이 끝나기까지 걸리는 시간이고, 처리량은 단위 시간에 처리하는 요청 수다. 요청을 묶어 처리하면 처리량은 오르지만 개별 레이턴시는 길어질 수 있다.

맞춤법/표기법

바른 표기

레이턴시

주의할 표기

레이텐시래턴시

원어

latency

다른 이름

지연 시간, 응답 지연, 지연시간, latency

참고

외래어 표기법상 '레이턴시'. '지연 시간'으로 풀어 써도 된다.

관련어