본문 바로가기

statistics5

Maximum Entropy Principle IntroductionWhat is “Maximum Entropy Principle”Maximum Entropy의 이점Reference Introduction이번 글에서 RL이나 다양한 분야에서 자주 보이는 Maximum Entropy Principle이라는 것에 대해서 정리해볼 것입니다.Entropy를 최대화함으로써 이득이 되는 것이 무엇인지를 알아보겠습니다. 다양한 분야에서 사용되는 용어이지만, 이번글에서는 확률분포에 맞추어서 글을 작성하겠습니다.What is “Maximum Entropy Principle”Maximum Entropy Principle이란 확률 분포에 대해 부족하거나 불완전한 정보를 가지고 있는 경우, 가장 적절한 예측은 Entropy를 최대화하는 것을 의미합니다.여기서 말하는 En.. 2023. 7. 28.
MLE, MAP IntroductionWhat is “Bayes's theorem”Maximum Likelihood Estimation?Maximum A Posterior?MAP ⇒ MLEMAP vs MLEReferenceIntroduction이번 글에서는 MLE와 MAP가 어떤 것이며, 이 둘의 차이에 대해서 정리해보겠습니다.What is “Bayes's theorem”베이즈 정리(Bayes’s theorem) 우리가 평소에 확률에 대해서 다룰 때 많이 보는 법칙입니다. 이 정리는 다음과 같은 조건부 확률 계산식입니다. P(θ∣X)=P(X∣θ)P(θ)P(X)P(\theta|X) = \cfrac{P(X|\theta)P(\theta)}{P(X)}P(θ∣X)=P(X)P(X∣θ)P(θ)​XXX: 관측된 데이터, Observ.. 2023. 7. 28.
Manifold IntroductionWhat is “Manifold”Manifold HypothesisReferenceIntroduction여러 논문들을 보다보면 Manifold라는 단어는 자주 나오지만 이에 대해서 이해하기 어려웠습니다. 그래서 이번글을 통해서 해당 개념을 정리해보겠습니다.What is “Manifold”Manifold의 사전적인 의미를 보면 “국소적으로 유클리드 공간과 닮은 위상 공간이다”라고 적혀있습니다. 다르게 말하면 공간의 부분집합들이 국소적으로 유클리드 공간과 닮은 구조를 가지는 공간을 의미합니다.사전적인 의미로는 수학적인 정의로 되어 있어 이것이 의미하는 바를 직접적으로 이해하기도 힘듭니다.그래도 먼저 사전적인 의미를 예제로 가볍게 살펴보겠습니다.“국소적으로 유클리드 공간과 닮아있다.”라는.. 2023. 7. 28.
Probability vs Likelihood IntroductionProbabilityLikelihoodProbability vs LikelihoodReference Introduction인공지능을 공부하다 보면 확률(Probability)과 우도(Likelihood)에 대한 개념이 자주 나옵니다. 이 둘은 뭔가 비슷하게 느껴져서 가끔씩 헷갈리는 경우가 생깁니다. 이번 글에서는 이에 대해서 정리해보겠습니다.Probability확률(Probability)은 관측값 혹은 관측 구간이 “확률 분포 안에서 어느 정도의 값으로 존재하는 가”를 나타냅니다.이러한 설명은 뭔가 직관적으로 와닿지 않습니다. 좀 더 쉽게 설명하면 과거 데이터를 기반으로 미래의 사건이 발생할 가능성을 나타내는 개념으로 볼 수 있습니다.이를 저희는 분포라는 고정된 모델에서 관측한 데이.. 2023. 7. 24.
Macro-average, Micro-average Macro와 Micro Average는 평균을 구하는 방법입니다. 먼저 각 방법에 대해서 간략하게 설명해보면 다음과 같습니다. Macro: 평균의 평균을 구하는 방법입니다. Micro: 전체의 평균을 구하는 방법입니다. 이를 좀 더 수식적으로 풀어 Precision, Recall, F1 스코어에 대입해서 보겠습니다. 먼저 N개의 카테고리가 있고 이를 Model $M$이 분류하는 Task를 풀고 있다고 가정을 해보겠습니다. 이때 Model $M$이 분류한 결과의 True Positive, False Positive, True Negative, False Negative를 $TP_i, FP_i, TN_i, FN_i,\ \ i=1, 2, ..., N$라 하겠습니다. 추가적으로 각 i번째 카테고리에 해당하는 P.. 2022. 2. 3.

티스토리툴바