티스토리 뷰







도 많고 탈도 많은 베이지안. 

머신러닝 이니 인공지능이니 이런것들이 뜰수록 덩달아 자주 사람들입에 오르 내리는게 베이지안(bayesian) 이다. 


수식을 가지고 어렵게 이야기하지만, 기초적인 개념을 소홀히 하고 있는 것 같아, 정리차 포스팅 한다. 


1. 베이지안 확률 (Bayesian Probability)

베이지안 확률이란 무엇인가? 기존에 우리가 알고 있는 확률과는 다른것인가? 

동전을 1000회 던졌을 때, 앞면이 나오는 횟수는 대략  500회 로 기대할수있다. 전통적인 확률 계산은


이렇게 표현한다. 일어난횟수/전체시도횟수

이런 확률론을 frequentist probability , 경험 확률 라고 한다. 일정한 확률로 반복시행이 충분히 가능한 많은 경우가 이에 해당도니다. 

그러면,  A라는 도시에서 철수라는 아이가 태어났는데 이 아이가 노벨상을 받을 확률은 얼마나 될까? 이 확률을 빈도확률로 이야기 하기 위해서는 이 아이를 여러번 살게 시키고 그중에 몇 번 노벨상을 받았는가를 평가 해야 한다. 또는 이와 동일한 아이가 전세계에 몇명이 있는지 파악하고, 몇명이 커서 노벨상을 받았는가를 평가해야 하는데, 동일한 유전자, 동일한 환경에서 자란 아이란 있을 수 없음으로 불가능 하다 하겠다. 

이런경우, 베이지안 확률론으로 이야기 해야 되는데, 이것은 일어나지 않은 일에 대한 확률을 불확실성(uncertainty)의 개념으로 이야기 해야 한다. 


즉, 이 사건과 관련있는 어려가지 확률을 이용하여 새롭게 일어날수있는 사건에 대한 추정 을 하는것이라 하겠다. 

따라서 이러한 일들을 베이즈 이론, Bayesian theory, 베이즈 추론 Bayesian inference 등으로 말하는 것이다. 


2. 베이지안 이론(Bayesian Theory)


베이즈 법칙(Bayesian Law)  또는 베이즈 이론(Bayesian Theory) 를 간단히 말하자면 

사전확률 p(A)  과 우도확률 p(B|A)를 안다면 사후확률 p(A|B)를 알 수있다는 것이다. 


이해 하기 쉽게 한가지 예를 들자면, 

어떤 청바지가 적재되는 청바지 창고가 있다. 사장이 와서 이 창고의 청바지 하나를 골라서 살펴보았는데 이 청바지 불량이었다. 

그런데 이 창고의 청바지는 구미 , 청주, 대구 3군데 공장에서 생산되어서 운송되어져 온다. 그렇다면 이 불량 청바지는 어떤 공장에서 생산된 것일까? 

이미 사건이 일어났고(창고의 불량 청바지), 사건발생의 원인에 대한 확률(사후확률, 이 창고의 불량 청바지는 어떤 공장에서 불량생산되어 온것일까?) 을 사건발생전에 이미 알고 있는 정보(사전확률, 구미, 청주, 대구 공장의 불량률)을 이용하여 구하는 것이라 하겠다. 


*정리 

- 사후확률 분포 : 사건 발생후 그 사건의 원인이 발생 할 수 있는 사건이 무엇인지 추정하여 그 가능성을 나타내는 변수의 붆포를 의미

- 사전확률 분포 : 사건발생 전 사건의 원인이 될 수있는 사건들에 대한 분포


수식을 통해 보면, 


결과 B (창고에서 불량 청바지가 발견) 을 발생시키는 원인들이 A1(구미공장 불량), A2(청주공장불량), A3(대구공장불량) 라 한다. 

사전확률 P(A1), P(A2) , P(A3)와 우도확률 (Likelihood) P(B|A1) , P(B|A2), P(B|A3) 는 이미 알려져 있다고 하자. 


위 수식은 

결과 B가 발생했는 조건 하에서 원인 Ai가 발생하였을 확률을 구하는 것이다. 





위 와 같이 P(A|B) = p(A and B) / P(B) 가 P(A|B) = P(A)P(B|A)/P(B)

로 정의 되어 질 수 있는데 


이는 

로 순서를 바꿔서 적을 수 있다. 

이 수식을 해석해 보면 


P(A)가 구미공장에서 생산되는 청바지의 불량률이라고 하고, 

P(B)가 물류 창고에서 불량 청바지가 발생하하는 확률이라고 하자. 


특정사건에 대한 기존의 불확실성인 P(A),(구미공장에서 생산되는 청바지의 불량률) 에 추가적인 단서 B가 발생함에 따라, P(B| A)/P(B) 라는 수치가 P(A)에 곱해진다. 그 결과 P(A|B)라는 조건부 확률의 모양으로 업데이트 되는 것이다. 


여기서 P(A|B)는 사후확률 Posterior 또는 Posterior belief

P(A)는 Prior, 또는 prior belief

P(B)는 Evidence

P(B|A)는 Likelihood라고 한다. 


P(B)는 단순히 상수개념이기 때문에 전체식에서 무시해도 이해하는데 무방하다.. 


다시 해석해 보면,, 

특정사건A의 확률에 대해서 기존에 가지고 있던 확률값은 Likelihood인데, 해당사건이 일어난 상황에서 (B), 주어진 데이터가 관찰될 확률 P(B|A) 가 높을 수록 더 높은 posterior로 업데이트 된다고 말 할 수 있다. 





반응형
TAG
댓글
  • 프로필사진 SHyun 혹시 Conjugate Pair관련해서 Prior랑 Posterior p.d.f 구하는 방법 알려주실 수 있나요? 2015.11.28 20:17
  • 프로필사진 systory 공부 중인데, 잘 정리해서 담아갑시다! 쉽게 잘 정리하셨네요!
    혹시 출처 명시하고, 자료를 정리해놔도 될런지 여쭤봅니다.
    감사합니다.
    2019.07.25 13:56 신고
  • 프로필사진 단창 넵넵 그러세요~ 2019.09.03 16:05 신고
  • 프로필사진 천사소녀네티 아 드디어 쉬운 예제를 발견해서 어느정도 이해에 도움이 되었습니다.. 감사합니다!!!!ㅠㅠㅠ 2020.11.17 20:25
  • 프로필사진 천사소녀네티 와 근데.. 이틀동안 베이즈정리로 끙끙 앓았는데, 지금 문제가 술술 풀리네요ㅜㅜㅜㅜ진짜 감사합니다.
    문제 풀다가 잘 풀려서 감사인사 다시 드디러 왔습니다!!!
    2020.11.17 20:37
댓글쓰기 폼