부스팅

뜻풀이

쉬운 AI 사전

1. [명사] (모델) 조금 부족한 모델을 차례로 이어 붙이되, 앞 모델이 틀린 문제에 더 신경 써서 다음 모델이 보완하게 하는 방법.

실무 AI 사전

1. [명사] (모델) 표 데이터 예측에서 가장 성능이 좋은 계열로 꼽혀 실무에서 널리 쓴다. 다만 순서대로 학습하고 반복 횟수가 많아 과적합하기 쉬워서, 학습률과 나무 수 같은 값을 조심해서 맞춘다.

전문 AI 사전

1. [명사] (모델) 약한 학습기를 순차적으로 결합해 강한 학습기를 만드는 앙상블이다. 에이다부스트는 오분류 샘플의 가중치를 올리고, 그래디언트 부스팅은 손실 함수의 음의 기울기(잔차)를 다음 학습기가 맞추도록 한다. 주로 편향을 줄이고 학습률 축소와 조기 종료로 과적합을 막는다.

관용구/함께 쓰는 말

• 약한 학습기 - 무작위 추측보다 조금만 나은 단순한 모델. 보통 얕은 나무를 쓴다.
• 순차 학습 - 앞 모델의 결과를 보고 다음 모델을 만드는 방식.

쉬운 비유

틀린 문제만 모아 오답 노트를 만들고, 다음 공부에서 그 문제부터 다시 푸는 학생과 같다. 회차를 거듭할수록 약한 부분이 메워진다.

예문

• 부스팅 모델은 나무를 500개 넘게 쌓았더니 학습 점수만 오르고 검증 점수는 떨어졌다.
• 에이다부스트는 틀린 샘플에 가중치를 더 줘서 다음 모델이 그 부분을 집중해서 배우게 한다.
• 실무에서는 일단 부스팅으로 기준선을 잡고 다른 방법을 비교한다.

헷갈리는 용어 비교

배깅

부스팅은 앞 모델의 실수를 이어받아 순서대로 학습하고, 배깅은 서로 독립적으로 학습해 평균을 낸다. 성능은 부스팅이 높은 경우가 많지만 노이즈가 많은 데이터에서는 과적합에 취약하다.

맞춤법/표기법

바른 표기

부스팅

주의할 표기

부스트부우스팅

원어

boosting

다른 이름

Boosting, 부스팅 기법, 부스팅 앙상블

참고

'올린다'는 뜻의 boost에서 왔다.

관련어