데이터로부터 확률을 추정하는 것은 머신러닝의 기본이다. 여기에는 최대 우도 추정 MLE, 베이지안 추론 및 빈도 기반 방법을 포함하여 데이터에서 확률을 추정하는 방법 등이 있다.
Ex) 동전을 던졌을 때 앞면 뒷면이 나올 확률
1. 편향성(bias)
당연히 상식적으로 생각하면 50퍼센트이지만 자연은 그렇지 않다. 10번을 던졌다면 앞 7번 뒤 3번 나올 가능성도 충분히 있다.
여기서 앞면이 나올 확률을 a 라하면 뒷면이 나올 확률은 1 - a 이다.
편향성을 추정하는 방법으로 베이즈 추정 방법이 있다. 베이즈 추정 방법은 사전 정보와 실제 결과를 결합하여 편향성을 추정하는 것이다.
* 최대우도법(MLE) - 확률 분포 모델의 모수를 추정하는 방법 중 하나이다. MLE는 데이터의 Likelihood를 최대화하는 모수값을 찾는다. 동전으로 생각하면 앞면이 나올 확률을 최대화하는 모수값을 찾는다.
MLE는 매우 일반적이면 다양한 확률 분포 및 모델에서 사용가능하다.
MLE는 추정된 모수값이 최적이라는 보장이없다. 데이터의 분포나 모델 구조가 잘못되면 추정된 모수 값도 왜곡될 수 있다.
베르누이 변수에서 MLE는 a1 / a1 + a2 이다.
* 최대 사후 확률 (MAP)
- 베이즈 정리를 기반으로 하는 확률 추정 방법이다.
여기서 A와 B는 사건이고 B가 발생했을 때 A가 일어날 조건부 확률이다. 즉, P(A)는 사건 A가 발생할 사전 확률이다.
MLE에서는 사전 정보를 반영하지 않는 것과 대비된다.
MAP는 베이즈정리에서 사후 확률을 최대화 즉 P(B)를 최대화하는 A를 찾는 것이다.
posterior : 사후확률은 베이즈 추론에서 사용되는 개념으로 주어진 데이터 D가 주어졌을 때 모수의 확률 분포를 나타낸다. 즉, 사전 지식에 대한 사전확률 분포와 데이터에 대한 우도함수를 이용하여 계산된다.
사후확률 = 우도함수 * 사전 확률 분포 / 주어진 데이터의 확률
이를 계산해보면 MLE와 비슷하게 생겼지만 사전 확률을 고려한 값을 얻을 수 있다.