형태소 분석

뜻풀이

쉬운 AI 사전

1. [명사] (언어) 문장을 뜻을 가진 가장 작은 단위로 쪼개고 각 조각이 명사인지 조사인지 표시하는 일. '학교에서'를 '학교'와 '에서'로 나누는 식이다.

실무 AI 사전

1. [명사] (언어) 한국어는 조사와 어미가 단어에 붙어 모양이 계속 바뀌어서, 검색 색인, 키워드 통계, 워드 클라우드를 만들기 전에 형태소 분석으로 '먹었다', '먹고'를 '먹다'로 묶어야 결과가 정확하다. Mecab, Kiwi, Okt 같은 공개 분석기를 많이 쓴다.

전문 AI 사전

1. [명사] (언어) 어절을 형태소로 분절하고 원형 복원과 품사 태깅(POS tagging)을 함께 수행하는 과정. 사전과 규칙, CRF나 신경망 기반 확률 모델로 가장 그럴듯한 분석 후보를 고른다. LLM의 BPE 토크나이저는 빈도로 조각을 정하므로 형태소 경계와 일치하지 않는다.

관용구/함께 쓰는 말

• 품사 태깅 - 쪼갠 형태소마다 명사, 동사, 조사 같은 품사를 붙이는 일.
• 사용자 사전 - 분석기가 모르는 신조어나 상품명을 직접 등록해 두는 목록.

쉬운 비유

레고로 만든 집을 다시 블록 하나하나로 분해하고, 블록마다 '벽', '창문', '지붕' 이름표를 붙이는 일과 비슷하다.

예문

• 리뷰 키워드를 셀 때 형태소 분석 없이 띄어쓰기로만 자르니 '배송이', '배송은'이 따로 집계됐다.
• 신조어가 많은 댓글은 형태소 분석기 사전에 새 단어를 등록해야 제대로 잘린다.

헷갈리는 용어 비교

토크나이저

형태소 분석은 언어학적으로 뜻이 있는 단위로 나누고 품사도 붙인다. 토크나이저는 모델이 다루기 편하도록 자주 나오는 글자 묶음 단위로 자르며 품사 정보는 없다.

맞춤법/표기법

바른 표기

형태소 분석

주의할 표기

형태 소 분석형테소 분석

원어

morphological analysis

다른 이름

형태소 분석기

참고

'형태소'는 한 단어로 붙여 쓴다.

관련어