그래디언트 부스팅은 앙상블 학습 방법 중 하나로, 여러 개의 약한 학습기(weak learner)를 순차적으로 학습시키면서, 이전 학습기의 잔차(오차)를 줄여나가는 방식으로 전체 모델의 예측 성능을 향상시키는 방법입니다.

기본 원리

• 약한 학습기(Weak Learner): 보통 그래디언트 부스팅에서는 결정 트리를 약한 학습기로 사용합니다. 약한 학습기는 단독으로는 데이터의 복잡한 패턴을 모두 잡아내기 어렵지만, 여러 개를 조합하면 강력한 예측 성능을 발휘할 수 있습니다.
• 순차적 학습: 각 약한 학습기는 이전 학습기의 잔차, 즉 실제 값과 이전 학습기 예측 값의 차이를 학습의 대상으로 삼습니다. 이를 통해 모델은 점차 오차를 줄여 나가며 전체적인 예측 성능을 개선합니다.
• 손실 함수 최적화: 그래디언트 부스팅은 손실 함수(loss function)를 최소화하는 방향으로 학습이 진행됩니다. 이 과정에서 그래디언트(gradient), 즉 손실 함수의 기울기를 사용하여 모델을 업데이트합니다.

장점

• 높은 예측 성능: 그래디언트 부스팅은 다양한 데이터 세트에 대해 높은 예측 성능을 제공하는 것으로 알려져 있습니다.
• 유연성: 다양한 손실 함수를 사용할 수 있으며, 분류 및 회귀 문제 모두에 적용할 수 있습니다.
• 특성 중요도 파악: 그래디언트 부스팅을 사용하면 각 특성의 중요도를 파악할 수 있어, 데이터의 이해도를 높이는 데 도움이 됩니다.

단점

• 매개변수 조정 필요: 그래디언트 부스팅은 학습률(learning rate)과 같은 중요한 매개변수들의 조정이 필요하며, 이들 매개변수에 따라 모델의 성능이 크게 달라질 수 있습니다.
• 계산 시간: 여러 개의 약한 학습기를 순차적으로 학습시켜야 하므로, 다른 일부 앙상블 기법에 비해 학습 시간이 길 수 있습니다.