条件熵
假设有随机变量$(X,Y)$，其联合概率分布为：$P(X=x_i, Y=y_i)=p_{ij}$
$P(X=x_i, Y=y_j)=p_{ij}$，$i=1,2,...,n; j=1,2,...,m$
条件熵描述了在已知随机变量$X$的值的前提下，随机变量$Y$ 的信息熵还有多少。同其它的信息熵一样，条件熵也用Sh、nat、Hart等信息单位表示。基于$X$ 条件的$Y$ 的信息熵，用$H(Y|X)$表示。
$H(Y|X=x)$为随机变量$Y$在$X$取特定值$x $下的熵，那么$H(Y|X)$就是$H(Y|X=x)$在$X$取遍所有可能$x$后取平均期望的结果。
给定随机变量$X \in \mathcal{X}$，$Y\in \mathcal{Y}$，在给定$X$条件下$Y$的条件熵定义为：
$$ H(Y|X)=\displaystyle\sum_{x\in \mathcal{X}}p(x)H(Y|X=x) $$
$$ =-\displaystyle\sum_{x\in \mathcal{X}}p(x)\displaystyle\sum_{y\in \mathcal{Y}}p(y|x)\mathrm{log}p(y|x) $$
$$ =-\displaystyle\sum_{x\in \mathcal{X}}\displaystyle\sum_{y\in \mathcal{Y}}p(x,y)\mathrm{log}p(y|x) $$
$$ =-\displaystyle\sum_{x\in \mathcal{X},y\in \mathcal{Y}}p(x,y)\mathrm{log}\dfrac{p(x,y)}{p(x)} $$
$$ =-\displaystyle\sum_{x\in \mathcal{X},y\in \mathcal{Y}}p(x,y)\mathrm{log}\dfrac{p(x,y)}{p(x)} $$
$$ =\displaystyle\sum_{x\in \mathcal{X},y\in \mathcal{Y}}-p(x,y)\mathrm{log}p(x,y)-\displaystyle\sum_{x\in \mathcal{X}}-p(x)\mathrm{log}p(x) $$
$$ =H(X,Y)-H(X) $$
即$H(Y|X)=H(X,Y)-H(X)$，同样$H(X|Y)=H(X,Y)-H(Y)$