AI/Basics5 Maximum Entropy Principle IntroductionWhat is “Maximum Entropy Principle”Maximum Entropy의 이점Reference Introduction이번 글에서 RL이나 다양한 분야에서 자주 보이는 Maximum Entropy Principle이라는 것에 대해서 정리해볼 것입니다.Entropy를 최대화함으로써 이득이 되는 것이 무엇인지를 알아보겠습니다. 다양한 분야에서 사용되는 용어이지만, 이번글에서는 확률분포에 맞추어서 글을 작성하겠습니다.What is “Maximum Entropy Principle”Maximum Entropy Principle이란 확률 분포에 대해 부족하거나 불완전한 정보를 가지고 있는 경우, 가장 적절한 예측은 Entropy를 최대화하는 것을 의미합니다.여기서 말하는 En.. 2023. 7. 28. MLE, MAP IntroductionWhat is “Bayes's theorem”Maximum Likelihood Estimation?Maximum A Posterior?MAP ⇒ MLEMAP vs MLEReferenceIntroduction이번 글에서는 MLE와 MAP가 어떤 것이며, 이 둘의 차이에 대해서 정리해보겠습니다.What is “Bayes's theorem”베이즈 정리(Bayes’s theorem) 우리가 평소에 확률에 대해서 다룰 때 많이 보는 법칙입니다. 이 정리는 다음과 같은 조건부 확률 계산식입니다. P(θ∣X)=P(X∣θ)P(θ)P(X)P(\theta|X) = \cfrac{P(X|\theta)P(\theta)}{P(X)}P(θ∣X)=P(X)P(X∣θ)P(θ)XXX: 관측된 데이터, Observ.. 2023. 7. 28. Manifold IntroductionWhat is “Manifold”Manifold HypothesisReferenceIntroduction여러 논문들을 보다보면 Manifold라는 단어는 자주 나오지만 이에 대해서 이해하기 어려웠습니다. 그래서 이번글을 통해서 해당 개념을 정리해보겠습니다.What is “Manifold”Manifold의 사전적인 의미를 보면 “국소적으로 유클리드 공간과 닮은 위상 공간이다”라고 적혀있습니다. 다르게 말하면 공간의 부분집합들이 국소적으로 유클리드 공간과 닮은 구조를 가지는 공간을 의미합니다.사전적인 의미로는 수학적인 정의로 되어 있어 이것이 의미하는 바를 직접적으로 이해하기도 힘듭니다.그래도 먼저 사전적인 의미를 예제로 가볍게 살펴보겠습니다.“국소적으로 유클리드 공간과 닮아있다.”라는.. 2023. 7. 28. Mutual Information IntroductionMutual InformationReference IntroductionMutual Information은 하나의 확률변수가 다른 하나의 확률 변수에 대해 제공하는 정보의 양을 의미합니다. 다른 말로 하면 다른 확률변수를 통해 하나의 확률변수가 얻게되는 정보량을 의미합니다.Mutual InformationMutual Information I(X;Y)I(X;Y)I(X;Y)라고 정의할 때, 식은 다음과 같습니다.I(X;Y)≜DKL(p(x,y)∣∣p(x)p(y))=∑y∑xp(x,y)logp(x,y)p(x)p(y)=∑x,yp(x,y)logp(x,y)−∑xp(x)logp(x)−∑yp(y)logp(y)=−H(X,Y)+H(X)+H(Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)=I(Y;.. 2023. 7. 24. Probability vs Likelihood IntroductionProbabilityLikelihoodProbability vs LikelihoodReference Introduction인공지능을 공부하다 보면 확률(Probability)과 우도(Likelihood)에 대한 개념이 자주 나옵니다. 이 둘은 뭔가 비슷하게 느껴져서 가끔씩 헷갈리는 경우가 생깁니다. 이번 글에서는 이에 대해서 정리해보겠습니다.Probability확률(Probability)은 관측값 혹은 관측 구간이 “확률 분포 안에서 어느 정도의 값으로 존재하는 가”를 나타냅니다.이러한 설명은 뭔가 직관적으로 와닿지 않습니다. 좀 더 쉽게 설명하면 과거 데이터를 기반으로 미래의 사건이 발생할 가능성을 나타내는 개념으로 볼 수 있습니다.이를 저희는 분포라는 고정된 모델에서 관측한 데이.. 2023. 7. 24. 이전 1 다음
