Bias과 Variance은 Trade Off 관계, 일반화 성능을 얻기 위해서 다음 중 어떤 방식을 선택하시겠습니까?

머신러닝의 기본 목표는 데이터를 잘 맞추는 동시에 가능한 간단한게 데이터를 피팅하는 것

위 정의를 달성하기 위해서는 낮은 편향과 낮은 분산을 가져야 한다.

• 모델 복잡도를 줄임으로써 Bias는 증가하고 Variance는 감소
• 반대로 모델 복잡도를 높이면 Bias는 감소 Variance는 증가

즉, 편향-분산은 내가 어떤 모델을 선택하든 두 개를 동시에 줄일 수는 없다. (반비례적, 시소효과)

결국 마지막 작업은 편향&분산의 균형을 잘 선택하는 것(최적값) 모델의 복잡도를 변경하며 중간의 일반화가 잘 되는 지점 을 잘 찾아주어야 한다

1. 분산을 좀 주고 편향을 줄었으면 좋겠다
   • 분산이 좀 크더라도 답이랑 비슷한 걸 스쳐갔으면 좋겠다.
2. 편향을 좀 주고 분산을 줄였으면 좋겠다
   • 분산을 좁히면 교정 전에는 답에서 어긋나더라도 좀만 교정하면 좀 더 좋은 모델을 만들 수 있다.

 

의견 1 / 편향을 좀 주고 분산을 줄였으면 좋겠다.

편향은 어쨌거나 모델을 모델링하는 개발자의 역할이 큰데, 분산은 컴퓨터의 데이터량에 의한거니까,

개발자의 역할은 편향을 수정하는 쪽으로 가야하지 않을까?

 

의견 2 / 분산을 좀 주고 편향을 줄였으면 좋겠다.

예를 들어 이전에 전자레인지 전자파가 암의 원인이 된다라는 것은 거짓이다

바로 우리가 편향에 치우쳐 진 것이다

1. “일반화”가 잘 된 모델은 새로운 데이터에 적절한 대응 할 수 있는 모델

→ 적절한 대응에 초점

→ 예를 들어 학습이 부족한 상태로 코드를 작성하는 것과 내용을 과하게 학습해서 상관 없는 내용이 들어간 코드를 작성하는 것 중에서 후자가 치명적이라고 생각.

 

2. 분산을 줄아는 방식이 좀 더 편리하기 때문

→ 분산이 높다는 것은 간단한 모델이라는 것이기 때문에 낮은 degeer(차수) 하나 하나 올려서 확인하는 것이 편리

 

3. 편향은 최적화를 할 수 있는 방식이기 때문에 분산을 줄이는 방식이 합리적

→ 규칙성이 존재하는 데이터의 경우 어느 정도의 규칙성을 확보했을 경우 편향은 최대한 줄일 수 있으므로 어느 정도의 분산 이내로 함수를 설정한 이후 최대한 편향을 줄이는 것이 합리적