Probability vs Likelihood

Introduction

Probability

Likelihood

Probability vs Likelihood

Reference

Introduction

---

인공지능을 공부하다 보면 확률(Probability)과 우도(Likelihood)에 대한 개념이 자주 나옵니다. 이 둘은 뭔가 비슷하게 느껴져서 가끔씩 헷갈리는 경우가 생깁니다. 이번 글에서는 이에 대해서 정리해보겠습니다.

Probability

---

확률(Probability)은 관측값 혹은 관측 구간이 “확률 분포 안에서 어느 정도의 값으로 존재하는 가”를 나타냅니다.

이러한 설명은 뭔가 직관적으로 와닿지 않습니다. 좀 더 쉽게 설명하면 과거 데이터를 기반으로 미래의 사건이 발생할 가능성을 나타내는 개념으로 볼 수 있습니다.

이를 저희는 분포라는 고정된 모델에서 관측한 데이터가 어느 정도의 값을 가지는지를 통해서 봅니다.

즉, 확률은 과거 데이터로 만들어진 특정 모델, 분포에서 새로운 데이터를 가지고 미래에 발생할 가능성을 나타내는 개념입니다.

그래서 확률은 고정된 모델, 가설에서 관측값이 어떤 가능성을 가지냐를 의미합니다.

$$P(\text{data}|\text{distribution})$$

Likelihood

---

우도(Likelihood, 가능도)는 어떤 데이터가 특정 모델이나 가설에 얼마나 적합한지를 나타내는 개념입니다.

확률에서는 데이터가 고정된 분포에 대해서 값을 가지는 형태지만, 우도는 고정된 데이터가 여러 가설, 분포에 대해서 얼마나 적합한지를 보는 개념이라고 볼 수 있습니다.

$$P(\text{distribution}|\text{data})$$

Probability vs Likelihood

---

비교를 위해서 보면 확률(Probability)은 고정된 분포에서 데이터가 가지는 값, 우도(Likelihood)는 고정된 데이터가 분포에 대해서 가지는 값이라고 볼 수 있습니다. 물론 이거는 쉬운 이해를 위한 비유입니다.

저희가 흔히 Maximum Likelihood Estimation을 사용하는 이유도 Likelihood의 개념때문입니다.

• 저희가 인공지능을 학습할 때 데이터를 가지고 이를 가장 잘 설명하는 모델, 가설을 찾습니다.

• 이때 어떤 모델, 가설이 가장 잘 설명하는지에 대한 수치가 Likelihood이고, 이를 최대화함으로써 문제를 푸는게 MLE입니다.

Reference

---

• https://jjangjjong.tistory.com/41

• https://dlearner.tistory.com/43

Uploaded by N2T