처리량

뜻풀이

쉬운 AI 사전

1. [명사] (인프라) 정해진 시간 동안 한꺼번에 얼마나 많은 일을 해낼 수 있는지를 나타내는 양.

실무 AI 사전

1. [명사] (인프라) 1초에 처리하는 요청 수나 생성하는 토큰 수로 잰다. 사용자가 몰리는 서비스에서는 처리량이 부족하면 대기열이 생기므로 GPU 수와 비용을 정하는 기준이 된다.

전문 AI 사전

1. [명사] (인프라) 단위 시간당 완료된 작업량(요청/초, 토큰/초). 배치 크기를 키우고 연속 배칭을 쓰면 GPU 활용률이 올라 처리량이 늘지만 개별 요청 지연은 늘 수 있어 레이턴시와 상충 관계에 있다.

관용구/함께 쓰는 말

• 처리량을 끌어올리다 — 같은 자원으로 더 많은 요청을 소화하게 하는 것.
• 병목 — 전체 처리량을 가로막는 가장 느린 부분.

쉬운 비유

고속도로 한 시간 통행량과 같다. 한 대가 달리는 속도(레이턴시)와는 별개로 차선이 많을수록 통행량이 늘어난다.

예문

• GPU를 두 배로 늘렸더니 초당 처리량이 거의 두 배가 되었다.
• 처리량이 모자라 요청이 대기열에 쌓이고 있다.
• 배치를 키우면 처리량은 오르지만 응답이 조금 느려진다.

헷갈리는 용어 비교

레이턴시

처리량은 시스템 전체가 얼마나 많이 소화하느냐이고 레이턴시는 한 요청이 얼마나 빨리 끝나느냐다. 하나를 올리면 다른 하나가 나빠지는 경우가 흔하다.

맞춤법/표기법

바른 표기

처리량

주의할 표기

쓰루풋스루푸트

원어

throughput

다른 이름

스루풋, throughput

참고

영어를 그대로 쓸 때는 '스루풋'으로 적는다.

관련어

마지막 확인 2026-10-15
뜻풀이는 학습용 참고 자료입니다.