파국적 망각

뜻풀이

쉬운 AI 사전

1. [명사] (학습) AI가 새로운 것을 배우다가 예전에 잘하던 것을 갑자기 잊어버리는 현상.

실무 AI 사전

1. [명사] (학습) 파인튜닝으로 특정 업무에 맞추었더니 일반 대화 능력이나 다른 업무 성능이 떨어지는 경우를 말한다. 기존 데이터를 일부 섞어 학습하거나 LoRA처럼 원래 가중치를 건드리지 않는 방식으로 줄인다.

전문 AI 사전

1. [명사] (학습) 신경망이 새 과제의 기울기 갱신으로 이전 과제에 중요한 가중치를 덮어써서 이전 성능이 급락하는 현상이다. 분포 이동이 큰 순차 학습에서 두드러진다. EWC 같은 중요 가중치 규제, 리허설, 파라미터 효율 튜닝으로 완화한다.

관용구/함께 쓰는 말

• 기존 데이터 섞기 - 새 데이터와 함께 옛 데이터 일부를 섞어 학습해 망각을 막는 방법.
• EWC - 이전 과제에 중요했던 가중치가 크게 바뀌지 않도록 벌점을 주는 방법.

쉬운 비유

새 과목을 외우려다 앞서 외운 구구단을 까먹는 학생과 같다. 한 번 덮어쓴 칠판처럼 이전 필기가 지워진다.

예문

• 법률 문서로 파인튜닝했더니 일반 질문에 답하는 능력이 떨어지는 파국적 망각이 생겼다.
• 파국적 망각을 줄이려고 기존 데이터를 일부 섞어서 학습시켰다.
• 새 작업을 학습하면 이전 작업의 정확도가 갑자기 낮아지는 것이 파국적 망각의 전형이다.

헷갈리는 용어 비교

과적합

과적합은 학습 데이터에 지나치게 맞춰져 새 데이터에서 못하는 현상이고, 파국적 망각은 새 과제를 배우는 과정에서 이전 과제 능력을 잃는 현상이다.

맞춤법/표기법

바른 표기

파국적 망각

원어

catastrophic forgetting

다른 이름

Catastrophic Forgetting, 재앙적 망각, 치명적 망각, 파국적 건망증, catastrophic interference

참고

'파국적'이라는 용어를 가장 많이 쓰며 '치명적 망각'이라고도 한다.

관련어