Study/머신러닝

선형 회귀 (Linear Regression) 피처와 연속형 결과값 사이의 관계를 설명하는 선형 방정식(선형결합) 혹은 가중치 합의 함수를 찾는 알고리즘. 입력 피처 벡터 x = (x1, x2, ..., xn)가 있고 이에 대응되는 결과값 y가 있을 때, y를 가능한 잘 맞출 수 있는 선형 방정식을 찾는다. 하지만 실제 데이터가 선형 관계로 딱 표현되지 않을수도 있기 때문에 절편(bias)를 추가해준다. 로지스틱 회귀와의 차이점 위와 같은 과정은 동일하지만, 로지스틱 회귀에서는 위에 과정에 추가로 방정식의 결과값을 로지스틱 함수를 통해 0~1 사이로 변환하는 과정이 더 존재했다. cost function MSE (Means Squared Error) 사용. 결과값과 예측값의 차이! 경사 하강법을 통하여 ..

로지스틱 함수 로지스틱 회귀 분류기는 로지스틱 함수(시그모이드 함수)를 사용하는 분류기이다. 로지스틱 함수 (Logistic Function) 시그모이드 함수 (Sigmoid Function) 입력된 값에 0과 1 사이의 값을 할당하는 함수 피처 변환 로지스틱 회귀에서 함수의 입력인 z는 피처 x의 가중합이다. 즉, 입력 피처들이 선형 변환된 값. 주어진 데이터를 선형 변환만으로 완벽하게 목적하는 공간으로 매핑하는 것은 어렵다. 때문에 보통 절편(=bias)를 식에 추가하여 사용한다. 로지스틱 회귀 분류기 로지스틱 함수를 통한 피처 벡터 x의 클래스 판별 로지스틱 함수가 항상 0과 1 사이의 값을 가지기 때문에 y^를 p(y=1|x)로 생각할 수 있다. 즉, 해당 값을 확률 자체로 판단할 수 있다. ex..

의사결정 트리 분류기 (Decision Tree Classifier) 의사결정 트리 분류기는 트리 모양의 순차형 다이어그램을 통해 주어진 데이터를 분류. 트리의 루트부터 시작해서 모든 중간 노드들은 의사 결정 사항 (조건) 트리의 맨 끝에 있는 리프 노드는 의사 결정 사항에 따른 최종 결과 의사결정 트리 분류기의 동작은 의사결정 트리를 생성하는 학습 단계와 생성된 의사결정 트리에 따라 주어진 데이터를 분류하는 분류 단계로 나눠 볼 수 있다. 대표적인 트리 생성 알고리즘 : ID3, C4.5, CART, CHAID 예시 의사결정 트리는 데이터를 재귀적으로 파티셔닝하여 생성. CART (Classification and Regression Tree) 학습데이터를 사용하여 각 노드를 왼쪽 자식 노드와 오른쪽 ..

SVM (Support Vector Machine) class 별 데이터를 가장 잘 구분하는 최적의 하이퍼플레인(Hyperplane)을 찾는 알고리즘 하이퍼플레인 (Hyperplane) 데이터가 분포되어 있는 n차원 피처 공간을 두 공간으로 나누는 n-1차원의 평면. ex 2차원 피처 공간에서 하이퍼플레인은 '선' (line) 3차원 피처 공간에서 하이퍼플레인은 '형면' (surface) 하이퍼플레인에 의해 양분된 두 공간 내에 있는 가장 가까운 데이터 포인트(벡터) 간의 거리(Margin)가 최대인 상태 가장 가까운 데이터 포인터 : 서포트 벡터(Support Vector) 작동 알고리즘 단계 1 : 하이퍼플레인 표현하기 하이퍼플레인도 부분공간으로 생각하면 된다. (벡터들의 집합) 2차원 공간의 하이퍼..

조건부 확률 사건 (Event) 예시 내일 비가 올 경우 포커 카드팩에서 2장 뽑았는데 둘 다 킹인 경우 어떤 사람이 암에 걸린 경우 조건부 확률 어떤 사건 B가 발생한다는 것을 알았을 때, A가 일어날 (일어났을) 확률 P(B|A) : 사건 A가 주어졌을 때 사건 B가 발생할 확률 P(B)와 P(A) : 각각 사건 A와 B가 발생할 확률 베이즈 정리 (Bayes' Theorem) 용어 설명 P(A) : 사전(prior) 확률 P(A|B) : 사후(posterior) 확률 P(B) : 증거(Evidence) P(B|A) : 유사가능도 (Likelihood) 예시 두 개의 동전 U, F가 있다고 가정하자. 동전 U는 던져서 앞면이 나올 확률이 90%이고, 동전 F는 앞면이 나오르 확률이 50%이다. 두 동..

Bias & Variance Bias 가정(추정)이 얼마나 편향되어 있는가? 데이터 내에 있는 모든 정보를 고려하지 않음 Variance 입력 데이터의 변동에 따른 추정값 변화 데이터 내에 있는 에러나 노이즈까지 잘 잡아냄 출력이 얼마나 일관적으로 나오는가? Bias-Variance Tradeoff MSE (Mean Square Error)를 통하여 bias와 variance의 tradeoff를 살펴볼 수 있다. 우리가 흔히 아는 MSE는 수식을 통하여 bias의 제곱, variance, noise 총 3개로 분할될 수 있다. 이 때, noise는 제거할 수 없는 에러이다. 수식을 보면 알 수 있듯이 bias와 variance는 제곱이 포함되어 있어 모두 양수이다. 즉, MSE가 고정되면 하나가 커지면 ..

머신러닝이라고 카테고리를 이름 붙였지만 사실상 머신러닝+딥러닝! Overfitting & Underfitting Naive Bayes SVM Decision Tree Logistic Regression Linear Regression Cost Function Gradient Descent Regularization Boosting Models Neural Network Optimization Activation Function