互信息

互信息与多元对数似然比检验以及皮尔森 校验有着密切的联系。 信息是物质、能量、信息及其属性的标示。逆维纳信息定义信息是确定性的增加。逆香农信息定义信息是事物现象及其属性标识的集合。 信息论中的互信息一般而言，信道中总是存在着噪声和干扰，信源发出消息x，通过信道后信宿只可能收到由于干扰作用引起的某种变形的y。信宿收到y后推测信源发出x的概率，这一过程可由后验概率p(x|y)来描述。相应地，信源发出x的概率p(x)称为先验概率。我们定义x的后验概率与先验概率比值的对数为y对x的互信息量（简称互信息）。 根据熵的连锁规则，有因此，这个差叫做X和Y的互信息，记作I(X;Y)。按照熵的定义展开可以得到：

简单介绍

互信息是信息论里一种有用的 信息度量 ，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。简单说，就是两个事件集合之间的相关性。

比如，在图像处理中，常常需要比较两幅图像的相似度，互信息就是其中一种较为常用的方法，其核心思想就是熵。

熵

在互信息中有用到熵的概念，这里我们再简单介绍一下熵。

熵最初是热力学中表征物质状态的参量。其物理意义就是体系的混乱程度。任何一种能量在空间中分布的越均匀，熵越大。当完全均匀分布时，这个系统的熵就达到了最大值，也就是说此时的系统越混乱。

对于事件来说，当所有状态概率相等的时候熵最大，这个时候系统对取什么态没有偏向性，所以混乱度最大。

在信息世界，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。（这里指的是信息量）

信息熵

在我们处理信息的过程中，我们知道的事件确定性越大，所获取到的信息就会越少。比如，我们知道某件事情一定会发生，那么我们就不会接收到其它信息了。

所以我们获取信息内容的度量，是依赖于概率分布 P(x) ，因此我们要找到的信息量公式 h(x) 是需要随着概率单调递减的函数。所以这里我们选择了

那么对于同一个事件，如果有多种可能，比如下图这样：

那么就可以用来描述信息熵了

上面所提到的底数都没有设置，可以为 2 e 10 ，只是表征一个度量，并没有固定死要求。

互信息的计算公式在信息熵层面可以理解为：

其中的 H(A,B)为联合熵。

相对熵

相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分布P Q ，我们可以使用 KL 散度（Kullback-Leibler (KL) divergence）来衡量这两个分布的差异。下面是维基百科对相对熵的描述

In the context of machine learning, DKL(P‖Q) is often called the information gain achieved if P is used instead of Q.

n为事件的所有可能性。 KL值越小，表示q分布和p分布越接近。

对上式进行变形：

交叉熵：交叉熵实际上是更广泛的相对熵的特殊形式

互信息

互信息实际上是更广泛的相对熵的特殊形式，如果（x,y）~ p(x,y) , X ,Y 之间的互信息 I(X;Y) 定义为：

使用概率的加和规则和乘积规则,我们看到互信息和条件熵之间的关系为

平均互信息

平均互信息表征了两个集合之间的关联程度。具有以下物理含义：

平均互信息 = 先验的平均不确定性 – 观察到 Y后 X保留的平均不确定性。

平均互信息 = 接收到Y后X 的平均不确定性消除的程度。

平均互信息 = 接收到Y 后获取到关于X 的平均信息量。

在联合集（X,Y）上，把互信息量 I(a;b) 的概率加权平均值定义为平均互信息量。其定义式为：

互信息（Mutual Information） - gatherstars - 博客园 (cnblogs.com)

在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。不同于相关系数，互信息并不局限于实值随机变量，它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。互信息是点间互信息（PMI）的期望值。互信息最常用的单位是bit。

信息论基础 学习笔记（1） - 知乎 (zhihu.com)

互信息(mutual information) 是信息论中最重要的概念之一。它的对象是两个随机变量。互信息就是指这两个随机变量包括对方的信息的量。举个例子：X指性别，男生还是女生；Y指头发长度，长头发还是短头发。这一个有一个人，Ta是长头发，那Ta是女生的概率就更大。同理，Ta是男生，那么Ta拥有短头发的概率就更大。可以看出，头发长短暗含了一定的性别信息。那么暗含的信息量有多少呢？就是互信息。我们可以如下定义互信息：

互信息(Mutual Information)浅尝辄止（一）：基础概念 - 知乎 (zhihu.com)
互信息是信息论中用以评价两个随机变量之间的依赖程度的一个度量。
举个例子：x=今天下雨与y=今天阴天，显然在已知y的情况下, 发生x的概率会更大

其中是观察到的变量分布，q是我们找到的一个尽量分布。是一个非对称的度量，这里我们希望对于较大概率出现的时，近似值和实际分布的信息量差异应该有个较大权重。