6. Linear Regression

 

선형 회귀 (Linear Regression)

• 피처와 연속형 결과값 사이의 관계를 설명하는 선형 방정식(선형결합) 혹은 가중치 합의 함수를 찾는 알고리즘.
•  입력 피처 벡터 x = (x1, x2, ..., xn)가 있고 이에 대응되는 결과값 y가 있을 때, y를 가능한 잘 맞출 수 있는 선형 방정식을 찾는다. 

y^가 y와 비슷할수록 좋은 선형 회귀 모델이다.

• 하지만 실제 데이터가 선형 관계로 딱 표현되지 않을수도 있기 때문에 절편(bias)를 추가해준다.

절편 w0이 추가된 수식.

• 로지스틱 회귀와의 차이점
  • 위와 같은 과정은 동일하지만, 로지스틱 회귀에서는 위에 과정에 추가로 방정식의 결과값을 로지스틱 함수를 통해 0~1 사이로 변환하는 과정이 더 존재했다. 
• cost function 
  
  • MSE (Means Squared Error) 사용.
    • 결과값과 예측값의 차이!

MSE

• 경사 하강법을 통하여 J(w)의 값이 최소가 되도록 하는 w를 찾는다!
• 예측
  • 학습을 통하여 가중치 벡터 w를 찾게 되면, 새로운 입력 벡터 x'에 대한 결과 예측값 y'는 다음과 같이 구할 수 있다.

예측값 y'

---

Reference

• 성균관대학교 AAI3006 강의(기계학습)