분산 학습

뜻풀이

쉬운 AI 사전

1. [명사] (학습) 혼자서는 너무 오래 걸리는 AI 학습을 여러 컴퓨터가 나눠서 함께 하는 방식.

실무 AI 사전

1. [명사] (학습) GPU 한 장에 모델이나 데이터가 다 들어가지 않거나 학습 시간이 너무 길 때 여러 GPU와 서버에 나누어 학습한다. 데이터를 나눠 같은 모델을 복제하는 방식과 모델 자체를 쪼개 나누는 방식이 있고, 통신이 느리면 오히려 효율이 떨어진다.

전문 AI 사전

1. [명사] (학습) 데이터 병렬, 텐서 병렬, 파이프라인 병렬, 전문가 병렬 등으로 연산과 파라미터를 분할하는 학습 방식. 데이터 병렬은 각 장치의 기울기를 올리듀스(all-reduce)로 합산해 동기화하며, ZeRO와 FSDP는 옵티마이저 상태와 가중치까지 샤딩해 메모리를 줄인다.

관용구/함께 쓰는 말

• 데이터 병렬 — 같은 모델을 여러 장치에 복제하고 데이터를 나눠 학습하는 방식.
• 올리듀스 — 여러 장치의 값을 모아 합산해 모두에게 돌려주는 통신 방식.

쉬운 비유

큰 퍼즐을 여러 사람이 나눠 맞추는 것과 같다. 구역을 나누면 빨라지지만 서로 맞춰 보는 시간이 늘면 효율이 떨어진다.

예문

• 모델이 한 GPU에 안 들어가서 8장에 나누어 분산 학습을 했다.
• GPU를 두 배로 늘렸는데 통신 때문에 속도는 1.6배밖에 안 올랐다.
• 데이터 병렬로 분산 학습하면 배치 크기를 크게 키울 수 있다.

헷갈리는 용어 비교

연합 학습

분산 학습은 한 조직이 속도를 위해 자기 서버들에 계산을 나누는 방식이다. 연합 학습은 여러 기기나 기관이 원본 데이터를 밖으로 내보내지 않고 각자 학습한 결과만 모으는 방식이라 목적이 개인정보 보호에 있다.

맞춤법/표기법

바른 표기

분산 학습

주의할 표기

분산 학슴

원어

distributed training

다른 이름

분산 훈련, 분산학습, 다중 GPU 학습

참고

'분산 훈련'이라고도 하지만 AI에서는 '학습'을 쓰는 경우가 많다.

관련어

마지막 확인 2026-10-15
뜻풀이는 학습용 참고 자료입니다.