[Machine Learning] 머신러닝에서 bias, variance란?

Bias

• Bias(편향)는 예측값과 실제값의 차이이다.

• 즉, Bias(편향)가 크다는 것은, 예측값과 실제값의 차이가 크다는 것이며, 이는 과소적합을 의미한다.

Variance

•  Variance(분산)는 입력에 따른 예측값의 변동성을 의미한다.

•  즉, Variance(분산)가 크다는 것은, 입력에 따른 예측값의 변동성이 크다는 것이며, 이는 과대적합을 의미한다.

Trade-off

•  Trade-off는 시소처럼 한쪽이 올라가면 한쪽이 내려가는 관계를 의미한다.

 

Q. 머신러닝에서 Bias 와 Variance 가 무엇이라고 생각하나요?
A. Bias 은 예측값과 정답의 차이의 정도이고 Variance 은 예측값끼리의 차이의 정도입니다.

Q. 머신러닝에서 Bias 와 Variance 가 어떤 의미를 가진다고 생각하나요?
A. Bias 와 Variance 을 더해 에러를 측정하기 때문에 하나라도 너무 높으면 안 됩니다. 즉 trade off 관계이고, 이를 알아야 모델이 underfit 인지 overfit 인지 알 수 있습니다.

Q. Bias 와 Variance 가 과적합과 무슨 상관인지 얘기해보세요
A. Bias 가 높으면 아직 모델이 학습 제대로 안 된 과소적합 상태입니다. Variance 가 높으면 모델이 과하게 학습된 과적합 상태입니다.

 

 

 

 

출처: https://velog.io/@iguv/Bias-and-Variance