2. Naive Bayes

 

 

조건부 확률

• 사건 (Event)
  • 예시
    • 내일 비가 올 경우
    • 포커 카드팩에서 2장 뽑았는데 둘 다 킹인 경우
    • 어떤 사람이 암에 걸린 경우
• 조건부 확률
  • 어떤 사건 B가 발생한다는 것을 알았을 때, A가 일어날 (일어났을) 확률

• P(B|A) : 사건 A가 주어졌을 때 사건 B가 발생할 확률
• P(B)와 P(A) : 각각 사건 A와 B가 발생할 확률

 

 

베이즈 정리 (Bayes' Theorem)

• 용어 설명
  • P(A) : 사전(prior) 확률
  • P(A|B) : 사후(posterior) 확률
  • P(B) : 증거(Evidence)
  • P(B|A) : 유사가능도 (Likelihood)
• 예시
  • 두 개의 동전 U, F가 있다고 가정하자.
  • 동전 U는 던져서 앞면이 나올 확률이 90%이고, 동전 F는 앞면이 나오르 확률이 50%이다.
  • 두 동전 중 하나를 임의로 선택해서 던졌을 때 결과가 앞면이 나왔더면, 이 동전이 U일 확률은?
    • P(U|H)  = ? (H = 앞면)
    • P(H|U) = 0.9이고, P(U) = 0.5이다. 그렇다면 P(H)는??
    • P(H)
      • 앞면이 나올 확률은 두 동전 모두를 고려해야 얻을 수 있다.
        • 동전 U를 던져서 앞면을 얻을 확률
        • 동전 F를 던져서 앞면을 얻을 확률
        • P(H) = P(H|U)*P(U) + P(H|F)*P(F) = 0.9*0.5 + 0.5*0.5

 

 

나이브 베이즈 (Naive Bayes)

• 데이터가 각 클래스에 속할 확률값을 계산해 모든 클래스를 대상으로 확률분포를 예측하는 확률 기반 분류기 
• 동작 원리
  • n개의 feature가 있는  샘플 데이터 x가 주어졌을 때 나이브 베이즈의 목표는 이 샘플 데이터가 k개의 클래스 중 하나에 속할 확률을 결정.

• P(y_k)는 k개의 클래스들의 확률분포이므로, 우리가 이미 알고있는 사전 확률이라 볼수있음.
• p(x|y_k)의 계산 같은 경우에는 각 feature들이 독립이라는 가정 하에 이루어짐.
• p(x)는 모든 클래스에 대해 공통으로 존재하여 클래스를 결정하는데 영향이 없으므로 생략 가능.

P(x)는 생략 가능!