전체 글78 [PolyVerse] Devlog0 간단한 모바일로 게임으로 맵 상 나타나는 적들을 처치하고, 적들에게서 나온 아이템을 먹어서 공격 수단을 늘리고, 강화해서 보스를 처치하는 게임입니다. 2024. 10. 21. Maximum Entropy Principle IntroductionWhat is “Maximum Entropy Principle”Maximum Entropy의 이점Reference Introduction이번 글에서 RL이나 다양한 분야에서 자주 보이는 Maximum Entropy Principle이라는 것에 대해서 정리해볼 것입니다.Entropy를 최대화함으로써 이득이 되는 것이 무엇인지를 알아보겠습니다. 다양한 분야에서 사용되는 용어이지만, 이번글에서는 확률분포에 맞추어서 글을 작성하겠습니다.What is “Maximum Entropy Principle”Maximum Entropy Principle이란 확률 분포에 대해 부족하거나 불완전한 정보를 가지고 있는 경우, 가장 적절한 예측은 Entropy를 최대화하는 것을 의미합니다.여기서 말하는 En.. 2023. 7. 28. MLE, MAP IntroductionWhat is “Bayes's theorem”Maximum Likelihood Estimation?Maximum A Posterior?MAP ⇒ MLEMAP vs MLEReferenceIntroduction이번 글에서는 MLE와 MAP가 어떤 것이며, 이 둘의 차이에 대해서 정리해보겠습니다.What is “Bayes's theorem”베이즈 정리(Bayes’s theorem) 우리가 평소에 확률에 대해서 다룰 때 많이 보는 법칙입니다. 이 정리는 다음과 같은 조건부 확률 계산식입니다. P(θ∣X)=P(X∣θ)P(θ)P(X)P(\theta|X) = \cfrac{P(X|\theta)P(\theta)}{P(X)}P(θ∣X)=P(X)P(X∣θ)P(θ)XXX: 관측된 데이터, Observ.. 2023. 7. 28. Manifold IntroductionWhat is “Manifold”Manifold HypothesisReferenceIntroduction여러 논문들을 보다보면 Manifold라는 단어는 자주 나오지만 이에 대해서 이해하기 어려웠습니다. 그래서 이번글을 통해서 해당 개념을 정리해보겠습니다.What is “Manifold”Manifold의 사전적인 의미를 보면 “국소적으로 유클리드 공간과 닮은 위상 공간이다”라고 적혀있습니다. 다르게 말하면 공간의 부분집합들이 국소적으로 유클리드 공간과 닮은 구조를 가지는 공간을 의미합니다.사전적인 의미로는 수학적인 정의로 되어 있어 이것이 의미하는 바를 직접적으로 이해하기도 힘듭니다.그래도 먼저 사전적인 의미를 예제로 가볍게 살펴보겠습니다.“국소적으로 유클리드 공간과 닮아있다.”라는.. 2023. 7. 28. Mutual Information IntroductionMutual InformationReference IntroductionMutual Information은 하나의 확률변수가 다른 하나의 확률 변수에 대해 제공하는 정보의 양을 의미합니다. 다른 말로 하면 다른 확률변수를 통해 하나의 확률변수가 얻게되는 정보량을 의미합니다.Mutual InformationMutual Information I(X;Y)I(X;Y)I(X;Y)라고 정의할 때, 식은 다음과 같습니다.I(X;Y)≜DKL(p(x,y)∣∣p(x)p(y))=∑y∑xp(x,y)logp(x,y)p(x)p(y)=∑x,yp(x,y)logp(x,y)−∑xp(x)logp(x)−∑yp(y)logp(y)=−H(X,Y)+H(X)+H(Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)=I(Y;.. 2023. 7. 24. 이전 1 2 3 4 ··· 16 다음
