information theory2 Maximum Entropy Principle IntroductionWhat is “Maximum Entropy Principle”Maximum Entropy의 이점Reference Introduction이번 글에서 RL이나 다양한 분야에서 자주 보이는 Maximum Entropy Principle이라는 것에 대해서 정리해볼 것입니다.Entropy를 최대화함으로써 이득이 되는 것이 무엇인지를 알아보겠습니다. 다양한 분야에서 사용되는 용어이지만, 이번글에서는 확률분포에 맞추어서 글을 작성하겠습니다.What is “Maximum Entropy Principle”Maximum Entropy Principle이란 확률 분포에 대해 부족하거나 불완전한 정보를 가지고 있는 경우, 가장 적절한 예측은 Entropy를 최대화하는 것을 의미합니다.여기서 말하는 En.. 2023. 7. 28. Mutual Information IntroductionMutual InformationReference IntroductionMutual Information은 하나의 확률변수가 다른 하나의 확률 변수에 대해 제공하는 정보의 양을 의미합니다. 다른 말로 하면 다른 확률변수를 통해 하나의 확률변수가 얻게되는 정보량을 의미합니다.Mutual InformationMutual Information I(X;Y)I(X;Y)I(X;Y)라고 정의할 때, 식은 다음과 같습니다.I(X;Y)≜DKL(p(x,y)∣∣p(x)p(y))=∑y∑xp(x,y)logp(x,y)p(x)p(y)=∑x,yp(x,y)logp(x,y)−∑xp(x)logp(x)−∑yp(y)logp(y)=−H(X,Y)+H(X)+H(Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)=I(Y;.. 2023. 7. 24. 이전 1 다음