[혼공머신] 용어 03장

회귀(Regression) : class중 하로 분류하는 것이 아니라 임의의 어떤 숫자를 예측하는 문제

 

k-최근접 이웃 분류 Vs 회귀

분류 : 최근접 이웃 중에 가장 많은 class와 같은 것으로 분류

회귀 : 최근접 이웃의 평균으로 목표 숫자 예측

 

결정계수(R^2) : coefficient of determination

회귀 모델에서 예측의 적합도를 0과 1 사이의 값으로 계산, 1에 가까울수도 완벽

R^2 = 1 - (타깃 - 예측)^2 / (타깃 - 평균)^2

 

과대적합(Overfitting) Vs 과소적합(Underfitting)

과대적합은 훈련세트에 너무 심하게 맞춰져 있어 test점수가 낮아지는 현상

과소적합은 훈련세트에 제대로 맞지 않아 훈련세트/테스트세트 둘다 점수가 낮거나 심하면 테스트세트보다 훈련테스의 점수가 낮음

 

선형회귀 : Linear regression

직선을 학습하는 회귀 알고리즘

 

가중치(or 계수) : weight(or Coefficient)

선형 회귀가 학습한 직선의 기울기

 

다중 회귀 : Multiple regression

여러 개의 특성을 사용한 선형 회귀(다차원 그래프가 만들어진다)

 

transforemer(변환기)

사이킷런의 전처리용 class : 특성을 만들거나 target data없이 input data를 변환

 

릿지 회귀(Ridge regression)

규제가 있는 선형 회귀 모델 중 하나, alpha로 규제의 강도 조절, alpha가 클수록 규제 강도가 세짐(클수록 과대적합의 가능성 커짐)

라쏘회귀(Lasso regression)

릿지와 달리 계수 값을 아예 0으로 만들 수도 있음

 

Hyperparameter

머신러닝 모델이 학습할 수 없고 사람이 지정하는 파라미터