그래디언트 부스팅

뜻풀이

쉬운 AI 사전

1. [명사] (학습) 작은 나무를 하나씩 더하면서 앞에서 틀린 만큼을 다음 나무가 메워 가는 방법. 오답 노트를 보며 차근차근 실력을 키우는 방식이다.

실무 AI 사전

1. [명사] (학습) 매출 예측, 이탈 예측, 사기 탐지처럼 표 형태 데이터에서 가장 많이 쓰는 강력한 방법이다. XGBoost, LightGBM, CatBoost가 대표 구현이며 학습률, 나무 개수, 깊이를 함께 조정해야 성능이 나온다.

전문 AI 사전

1. [명사] (학습) 손실 함수의 음의 그래디언트(제곱 오차라면 잔차)를 새 약한 학습기가 근사하도록 학습해, 학습률을 곱해 더해 가는 함수 공간에서의 경사 하강법. 약한 학습기로는 주로 얕은 회귀 나무(GBDT)를 쓴다.

관용구/함께 쓰는 말

• 부스팅 라운드 - 나무를 하나 더 추가하는 한 번의 반복.

쉬운 비유

오답 노트 공부법과 같다. 첫 시험에서 틀린 문제만 골라 다시 공부하고, 그다음에도 틀린 것만 또 공부하며 점수를 올린다.

예문

• 표 데이터 대회에서는 아직도 그래디언트 부스팅 계열이 상위권을 많이 차지한다.
• 학습률을 낮추고 나무 수를 늘렸더니 검증 점수가 조금 더 올랐다.
• 그래디언트 부스팅은 나무를 순서대로 쌓아서 랜덤 포레스트보다 병렬화가 어렵다.

헷갈리는 용어 비교

경사 하강법

경사 하강법은 파라미터 값을 기울기 반대로 조금씩 옮겨 손실을 줄인다. 그래디언트 부스팅은 같은 원리를 함수에 적용해, 기울기 방향을 흉내 내는 나무를 하나씩 더한다.

맞춤법/표기법

바른 표기

그레이디언트 부스팅

주의할 표기

그라디언트 부스팅그래디언 부스팅

원어

gradient boosting

다른 이름

GBM, 그레이디언트 부스팅, 경사 부스팅, GBDT

참고

외래어 표기법으로는 '그레이디언트'지만 업계에서는 '그래디언트'가 더 흔하다.

관련어