XGBoost(eXtreme Gradient Boosting) 회귀 모델 이란?

여러 특성을 복합적으로 분석하는 데 성능이 뛰어난 XGBoost(eXtreme Gradient Boosting) 회귀 모델을 사용하여 내부 저항(R_internal_est_mohm)을 예측

 

XGBoost는 'eXtreme Gradient Boosting'의 줄임말로, 여러 개의 간단한 예측 모델을 합쳐서 더 정확한 예측을 만들어내는 똑똑한 기계학습 방법 중 하나입니다. 특히 회귀 문제에서 특정 숫자 값을 예측하는 데 아주 뛰어난 성능을 보입니다.

XGBoost의 작동 원리

이해를 위해 '집값 예측'을 예로 들어보겠습니다.

1. 첫 번째 예측

먼저 아주 단순한 모델 (보통 '결정 트리'라고 부릅니다) 하나가 집값을 예측합니다. 예를 들어 '방 개수가 3개 이상이면 5억, 아니면 3억' 과 같이 매우 간단하게 예측합니다.

이 첫 번째 예측은 당연히 실제 집값과 차이가 많이 날 것입니다. 어떤 집은 7억인데 5억으로 예측하기도 하고, 2억인데 3억으로 예측하기도 할 것입니다. 이처럼 실제 값과 예측 값의 차이를 '오차' 또는 '잔차'라고 부릅니다.

2. 오차를 학습하는 두 번째 모델

이제 두 번째 모델은 집값을 직접 예측하는 것이 아니라, 첫 번째 모델이 남긴 '오차'를 예측하고 학습합니다.

예를 들어, 첫 번째 모델이 7억짜리 집을 5억으로 예측해서 -2억의 오차가 발생했다면, 두 번째 모델은 이 -2억의 오차를 줄이는 방향으로 학습합니다. '한강이 보이면 -1억을 더 예측해야 해' 와 같은 규칙을 찾아내는 것입니다.

3. 계속해서 오차를 줄여나가는 과정

이제 첫 번째 모델의 예측값과 두 번째 모델의 예측값을 더하면 이전보다 더 실제 값에 가까운 예측을 할 수 있습니다.

XGBoost는 이런 과정을 수백, 수천 번 반복합니다. 세 번째 모델은 앞선 두 모델이 합쳐서 만들어낸 예측의 오차를 학습하고, 네 번째 모델은 앞선 세 모델이 합쳐서 만든 예측의 오타를 학습합니다.

이렇게 새로운 모델이 계속해서 이전 모델들의 부족한 점 (오차)을 보완해나가면서 전체 예측의 정확도를 놀라울 정도로 높여나갑니다.

XGBoost의 장점

• 높은 예측 정확도 : 여러 모델의 장점을 결합하여 매우 정교한 예측이 가능합니다. 수많은 데이터 분석 대회에서 우승을 차지하며 그 성능을 입증했습니다.
• 빠른 속도 : 다른 비슷한 종류의 알고리즘에 비해 계산 속도가 매우 빠릅니다. 대용량의 데이터도 효율적으로 처리할 수 있도록 설계되었습니다.
• 과적합 방지 기능 : 모델이 학습 데이터에만 너무 익숙해져서 새로운 데이터에 대해서는 예측을 못하는 '과적합' 현상을 막아주는 여러 기능이 포함되어 있습니다. 이는 모델의 일반적인 성능을 높여줍니다.

요약

XGBoost 회귀 모델은 다음과 같이 정리할 수 있습니다.

• 목표 : 특정 숫자 값 (예 : 집값, 주가, 온도 등)을 정확하게 예측합니다.
• 방법 : 단순한 예측 모델을 여러 개 순차적으로 만들어, 이전 모델의 실수를 다음 모델이 보완해나가는 방식을 사용합니다.
• 핵심 : 예측 값과 실제 값의 '차이 (오차)'를 지속적으로 줄여나가며 예측 정확도를 극한까지 높입니다.

따라서 XGBoost는 복잡한 데이터 속에서도 패턴을 잘 찾아내어 정밀한 숫자 예측이 필요할 때 매우 유용하게 사용되는 강력한 도구라고 할 수 있습니다.