레이트 리밋

뜻풀이

쉬운 AI 사전

1. [명사] (서비스) AI 서비스가 '일정 시간 안에 이만큼까지만 요청하세요'라고 정해 둔 사용 한도.

실무 AI 사전

1. [명사] (서비스) 분당 요청 수나 분당 토큰 수로 한도를 걸어 서버가 과부하에 걸리지 않게 한다. 한도를 넘으면 오류가 오므로 재시도 간격을 늘리는 백오프나 요청 큐를 둔다.

전문 AI 사전

1. [명사] (서비스) API 제공자가 클라이언트별로 단위 시간당 요청 수나 처리 토큰 수를 제한하는 정책. 초과 시 HTTP 429 응답을 돌려주며, 재시도 시점을 헤더로 알려 주는 경우가 많다. 토큰 버킷 같은 알고리즘이 쓰인다.

관용구/함께 쓰는 말

• 429 오류 - 요청이 너무 많다는 HTTP 응답 코드.
• 지수 백오프 - 재시도 간격을 점점 늘려 가는 방법.

쉬운 비유

식당이 한 번에 받을 수 있는 주문 수를 정해 두고, 초과하면 '잠시 후 다시 오세요'라고 하는 것과 같다.

예문

• 갑자기 429 오류가 쏟아져 레이트 리밋에 걸렸다는 것을 알았다.
• 레이트 리밋에 걸리지 않도록 요청 사이에 간격을 두고 실패하면 지수 백오프로 다시 보냈다.
• 팀이 같은 키를 쓰면 한도를 서로 나눠 쓰게 되어 레이트 리밋에 빨리 닿는다.

헷갈리는 용어 비교

처리량

처리량은 시스템이 실제로 얼마나 많이 처리하는지의 성능 지표이고, 레이트 리밋은 사용자가 보낼 수 있는 한도를 정해 놓은 정책이다.

할당량

할당량은 한 달이나 하루 같은 긴 기간 동안 쓸 수 있는 총량이고, 레이트 리밋은 분이나 초 단위로 한 번에 몰리는 사용량을 제한한다.

맞춤법/표기법

바른 표기

레이트 리밋

주의할 표기

레이트리밋

원어

rate limit

다른 이름

속도 제한, 요청 제한, rate limiting, 레이트 리미트, 사용량 제한

참고

업계에서는 '리밋'이 흔하고 '리미트'로 적기도 한다.

관련어