선형 회귀 (Linear Regression)
- 피처와 연속형 결과값 사이의 관계를 설명하는 선형 방정식(선형결합) 혹은 가중치 합의 함수를 찾는 알고리즘.
- 입력 피처 벡터 x = (x1, x2, ..., xn)가 있고 이에 대응되는 결과값 y가 있을 때, y를 가능한 잘 맞출 수 있는 선형 방정식을 찾는다.
y^가 y와 비슷할수록 좋은 선형 회귀 모델이다.
- 하지만 실제 데이터가 선형 관계로 딱 표현되지 않을수도 있기 때문에 절편(bias)를 추가해준다.
절편 w0이 추가된 수식.
- 로지스틱 회귀와의 차이점
- 위와 같은 과정은 동일하지만, 로지스틱 회귀에서는 위에 과정에 추가로 방정식의 결과값을 로지스틱 함수를 통해 0~1 사이로 변환하는 과정이 더 존재했다.
- cost function
- MSE (Means Squared Error) 사용.
MSE
- 경사 하강법을 통하여 J(w)의 값이 최소가 되도록 하는 w를 찾는다!
- 예측
- 학습을 통하여 가중치 벡터 w를 찾게 되면, 새로운 입력 벡터 x'에 대한 결과 예측값 y'는 다음과 같이 구할 수 있다.
예측값 y'
Reference
