데이터 오염

뜻풀이

쉬운 AI 사전

1. [명사] (평가) 시험 문제가 미리 공부 자료에 섞여 들어가서 점수가 부풀려지는 일.

실무 AI 사전

1. [명사] (평가) 인터넷에서 긁어 모은 학습 데이터에 공개 벤치마크의 문제와 답이 섞여 있으면, 모델이 실력이 아니라 외운 내용으로 점수를 얻는다. 그래서 비공개 평가 셋이나 새로 만든 문제로 확인한다.

전문 AI 사전

1. [명사] (평가) 평가 세트의 문항이나 정답이 사전 학습 데이터에 포함되어 성능 추정이 낙관적으로 편향되는 현상. n-그램 중복 검사, 문항 변형 후 점수 하락 비교, 학습 시점 이후에 만든 문제 사용 등으로 탐지하고 줄인다. 데이터 누수의 한 형태로 볼 수 있다.

관용구/함께 쓰는 말

• 오염 검사 - 평가 문항이 학습 데이터에 들어 있는지 확인하는 절차.

쉬운 비유

시험 전날 문제지가 유출돼서 학생들이 답을 외운 상황과 같다. 높은 점수가 실력인지 암기인지 알 수 없다.

예문

• 이 모델은 벤치마크 점수가 이례적으로 높아서 데이터 오염을 의심해 새 문제로 다시 쟀다.
• 문제 순서를 바꾸자 점수가 크게 떨어져 오염 가능성이 제기됐다.

헷갈리는 용어 비교

데이터 포이즈닝

데이터 오염은 대개 실수로 평가 문제가 학습에 섞이는 일이고, 데이터 포이즈닝은 공격자가 일부러 학습 데이터를 망가뜨리는 일이다.

데이터 누수

데이터 누수는 모델링 전반에서 정답 정보가 새는 문제이고, 벤치마크 오염은 그중 공개 평가 문항이 학습에 들어간 경우를 가리킨다.

맞춤법/표기법

바른 표기

데이터 오염

주의할 표기

데이터오염

원어

benchmark contamination

다른 이름

벤치마크 오염, 평가 데이터 오염, 데이터 컨태미네이션, test set contamination

참고

'데이터 오염'은 데이터 품질 문제나 포이즈닝을 가리키기도 하므로 평가 맥락이면 '벤치마크 오염'이라고 분명히 쓴다.

관련어