롱 컨텍스트

뜻풀이

쉬운 AI 사전

1. [명사] (모델) AI가 한 번에 아주 긴 글이나 여러 문서를 읽고 답할 수 있는 능력.

실무 AI 사전

1. [명사] (모델) 수십만 토큰 이상을 한 번에 넣어 계약서 묶음이나 코드베이스 전체를 읽히는 데 쓴다. 다만 입력이 길수록 비용과 지연이 늘고, 중간 내용을 놓치는 일이 생길 수 있어 RAG와 비교해 고른다.

전문 AI 사전

1. [명사] (모델) 컨텍스트 윈도가 수만에서 수십만, 그 이상의 토큰인 상황과 그에 대응하는 기술. 위치 인코딩 외삽, 효율적 어텐션, KV 캐시 압축 등이 쓰이며, 긴 입력 중간의 정보를 덜 활용하는 현상('lost in the middle')이 보고되어 왔다.

관용구/함께 쓰는 말

• 롱 컨텍스트 평가 - 긴 입력에서 정보를 정확히 찾고 쓰는지 재는 시험.
• 긴 문서 요약 - 롱 컨텍스트로 가장 자주 하는 일.

쉬운 비유

책상이 아주 넓어서 책 여러 권을 한꺼번에 펼쳐 놓고 보는 것과 같다. 다만 넓다고 모든 쪽을 똑같이 꼼꼼히 읽지는 않는다.

예문

• 롱 컨텍스트 모델에 회의록 한 달 치를 통째로 넣고 결정 사항만 뽑아 달라고 했다.
• 롱 컨텍스트라고 해서 다 잘 읽는 것은 아니라서 핵심 질문은 문서 끝에 다시 적었다.
• 문서가 너무 많아 롱 컨텍스트에는 안 들어가서 RAG로 필요한 부분만 골랐다.

헷갈리는 용어 비교

RAG

롱 컨텍스트는 문서를 통째로 모델에 넣는 방식이고, RAG는 필요한 조각만 찾아서 넣는 방식이다. 문서가 한 번에 들어갈 만큼 작고 전체 맥락이 중요하면 롱 컨텍스트, 자료가 방대하고 자주 바뀌면 RAG가 맞는다.

컨텍스트 윈도

컨텍스트 윈도는 모델이 한 번에 볼 수 있는 입력 길이의 한계 자체이고, 롱 컨텍스트는 그 한계가 크거나 긴 입력을 잘 다루는 능력을 말한다.

맞춤법/표기법

바른 표기

롱 컨텍스트

주의할 표기

롱 콘텍스트long-context

원어

long context

다른 이름

긴 컨텍스트, 롱컨텍스트, 장문 컨텍스트, 긴 문맥

참고

'컨텍스트'가 일반적인 표기이고, 국립국어원 표기법으로는 '콘텍스트'지만 업계는 '컨텍스트'를 쓴다.

관련어