불용어

뜻풀이

쉬운 AI 사전

1. [명사] (언어) 글을 분석할 때 너무 자주 나오지만 뜻을 거의 담지 않아 빼고 보는 말. 우리말의 '은', '는', '그리고', 영어의 the, a 같은 말이다.

실무 AI 사전

1. [명사] (언어) 키워드 빈도, 워드 클라우드, 키워드 검색 색인을 만들 때 불용어를 빼야 의미 있는 단어가 위로 올라온다. 분야마다 목록을 따로 정해야 하며, 예컨대 쇼핑 리뷰에서는 '제품', '구매'처럼 어디에나 나오는 말도 불용어로 넣는다.

전문 AI 사전

1. [명사] (언어) 정보 검색과 전통적 텍스트 마이닝에서 문서 구별력이 낮은 고빈도 어휘를 사전 처리 단계에서 제거하는 기법. TF-IDF의 IDF가 낮은 단어가 대표적이다. 문맥 전체를 보는 신경망 언어 모델에서는 'not'처럼 의미를 뒤집는 말이 사라질 수 있어 대개 제거하지 않는다.

관용구/함께 쓰는 말

• 불용어 사전 - 분석에서 뺄 단어를 모아 둔 목록.
• 불용어 제거 - 분석 전에 불용어를 글에서 지우는 전처리 단계.

쉬운 비유

회의록을 요약할 때 '음', '그러니까', '어' 같은 군말을 지우고 보는 것과 같다. 다만 '안 된다'의 '안'까지 지우면 뜻이 정반대가 된다.

예문

• 워드 클라우드 가운데에 '정말'이 제일 크게 떠서 불용어 목록에 추가했다.
• 감성 분석 전에 '안'을 불용어로 빼 버리는 바람에 부정문이 긍정으로 바뀌어 버렸다.

헷갈리는 용어 비교

데이터 정제

데이터 정제는 오타, 중복, 깨진 글자처럼 잘못된 자료를 바로잡는 넓은 작업이다. 불용어 제거는 틀린 곳이 없는 정상 단어 중에서 분석에 쓸모없는 말을 빼는 좁은 단계다.

맞춤법/표기법

바른 표기

불용어

주의할 표기

불용 어불룡어

원어

stopword (stop word)

다른 이름

스톱워드, stop words, 불용어 처리

참고

영어는 'stopword'와 'stop word'를 둘 다 쓴다. 한자로 不用語다.

관련어