Ridge 회귀를 통해 정규화 과정을 수행하는 목적과 방법

정규화란?

• 회귀모델에서 정규화란 모델을 변형하여 과적합을 완화해 일반화 성능 높여주기 위한 기법
• 일반화 : 학습 데이터와 input 데이터가 달러져도 출력에 대한 차이가 많이 나지 않도록 하는 것

과적합overfitting된 모델은 훈련데이터에 너무 fitting된 모델이고 분산이 크다. 이때 편향을 조금 감안하더라도 분산을 줄이는 방향을 택하는데, 크게 두 가지 방법이 있다.

 

특성의 갯수를 줄이던가, 정규화를 수행하던가.

여기서 파라미터값에 제약을 줌으로써 모델을 정돈하는 것이 정규화이고, 이 정규화 컨셉을 처음 도입한 모델이 Ridge회귀 이다.

위 그림에서 분산이 높은 overfitting모델을 정규화 시키고자 할때, 베타3,4는 거의 0값을 가져야 최소의 에러를 가질 것이다. 이렇게 베타의 영향력을 감소시켜서 모델을 단순화 할 수 있다.

 

릿지회귀는 최소제곱법과 유사한 형태이다.

 

잔차제곱합 RSS 에 람다를 포함한 정규화정확도 베타항을 추가하여 제약을 주는 방식으로 정규화를 진행한다 .

 

shrinkage penalty라고 불리는 두 번째 항은 β1, . . . , βp 가 0에 가까울 경우 작고, 이 항은 추정치들을 0으로 축소하는 영향을 갖는다.

 

람다는 회귀추정치와 관련된 이런 두 항의 영향을 조절해주는 역할을 한다.

 

기존의 잔차 제곱합과 추가적 제약 조건의 비중을 조절하기 위한 패널티, 하이퍼 파라미터이며 람다가 크면 정규화 정도가 커지고 가중치들의 값이 낮아진다.

람다가 작아지면 정규화 정도가 작아지며 람다가 0이되면 일반적인 최소제곱추정치를 가진 선형 회귀모델이 된다. 가능영역이 넓어진다. (패널티 감소)

 

람다가 무한대로 가면 가능영역이 원점에 수렴하게 된다. → 규제가 심해짐 (올바른 값의 영역이 점점 작아짐)

 

편향은 람다가 증가함에 따라 증가하며

분산은 람다가 증가함에 따라 감소한다.

 

https://www.youtube.com/watch?v=pJCcGK5omhE

보는 것이 좋다