스트리밍 응답

뜻풀이

쉬운 AI 사전

1. [명사] (서비스) AI가 답을 다 쓸 때까지 기다리게 하지 않고 쓰는 즉시 글자를 조금씩 보여 주는 방식.

실무 AI 사전

1. [명사] (서비스) 챗봇에서 글이 타자 치듯 나타나는 것이 이것이다. 체감 대기 시간이 줄어 사용자 경험이 좋아지지만, 중간에 연결이 끊기거나 형식이 완성되기 전 글을 처리해야 하는 점을 고려한다.

전문 AI 사전

1. [명사] (서비스) 생성되는 토큰을 서버 전송 이벤트(SSE)나 웹소켓 등으로 완성 전에 순차 전송하는 응답 방식. 첫 토큰까지의 시간(TTFT)을 줄여 체감 지연을 낮춘다. 도구 호출 인자나 JSON처럼 조각이 모여야 의미가 생기는 출력은 누적한 뒤 파싱해야 한다.

관용구/함께 쓰는 말

• 첫 토큰 지연 - 요청 후 첫 글자가 나오기까지 걸리는 시간.
• 서버 전송 이벤트 - 서버가 클라이언트에 데이터를 연속으로 보내는 웹 기술.

쉬운 비유

인쇄가 끝난 책을 통째로 주는 대신 한 줄씩 쓰이는 대로 보여 주는 생방송 자막과 같다.

예문

• 스트리밍 응답을 켜니 긴 답변도 첫 글자가 바로 나와 답답함이 줄었다.
• JSON을 스트리밍으로 받으면 중간 조각은 파싱이 안 되므로 끝까지 모아서 처리했다.
• 사용자가 중간에 멈춤 버튼을 누르면 스트리밍 응답을 취소해 토큰 비용을 아꼈다.

헷갈리는 용어 비교

일괄 응답

일괄 응답은 답이 완성된 뒤 한꺼번에 보내 처리가 단순하지만 오래 기다린다. 스트리밍은 조각을 바로 보내 체감 속도가 빠르지만 처리가 복잡하다.

배치 처리

배치 처리는 요청을 모아 나중에 처리하는 방식이고, 스트리밍은 하나의 요청 결과를 실시간으로 나눠 받는 방식이다.

맞춤법/표기법

바른 표기

스트리밍 응답

주의할 표기

스트리밍응답스트리밍 아웃풋

원어

streaming response

다른 이름

스트리밍 출력, 스트리밍 생성, response streaming, 토큰 스트리밍, 스트림 응답

참고

'스트리밍'이 표준 표기. 'TTFT'는 time to first token의 약어다.

관련어