MoE

뜻풀이

쉬운 AI 사전

1. 「명사」 『모델』 모델 안에 여러 '전문가' 부품을 두고 질문마다 필요한 전문가만 골라 쓰는 구조. 크지만 빠르다.

전문 AI 사전

1. 「명사」 『모델』 라우터가 토큰마다 소수의 전문가 서브네트워크만 활성화하는 희소 구조. 총 파라미터 대비 활성 파라미터가 적어 연산 효율이 높다. Mixtral, DeepSeek-V3 등이 채택했다.

쉬운 비유

종합병원에서 증상에 따라 내과, 정형외과 등 필요한 전문의만 진료하는 것과 같다. 모든 의사가 매번 나서지 않으니 병원이 커도 빠르게 돌아간다.

예문

• MoE 모델은 파라미터가 6,000억이어도 실제 쓰는 건 370억뿐이다.
• 이번에 공개된 모델은 MoE 구조라서 전체 파라미터는 크지만 추론 비용은 비슷한 크기의 일반 모델보다 낮은 편이다.

헷갈리는 용어 비교

파라미터

파라미터는 모델이 가진 조절 숫자의 총량을 말한다. MoE는 이 파라미터 중 일부만 질문마다 켜는 구조라서, 전체 크기와 실제로 계산에 쓰이는 크기가 다르다.

sLLM

sLLM은 처음부터 크기가 작은 모델을 뜻하고, MoE는 크기는 크지만 일부만 활성화해 계산을 아끼는 구조다. 작게 만드느냐, 크되 골라 쓰느냐의 차이다.

맞춤법/표기법

바른 표기

MoE

주의할 표기

MOE

원어

MoE (Mixture of Experts)

다른 이름

전문가 혼합, 믹스처 오브 엑스퍼츠

관련어

마지막 확인 2026-10-14
뜻풀이는 학습용 참고 자료입니다.