期望：

1. 定义：

设离散型随机变量$X$的分布律为：$P{X=x_i}=p_k, k=1,2,...$，若级数$\displaystyle\sum_{k=1}^{\infty} x_k p_k$绝对收敛，则称该级数的和为随机变量$X$的数学期望（mean），记为$E(X)$。即

$$ E(X)=\displaystyle\sum_{k=1}^{\infty} x_k p_k $$

设连续型随机变量$X$的概率密度为$f(x)$，若积分$\textstyle{\Large\int}_{-\infty}^{\infty}xf(x)dx$绝对收敛，则称该积分的值为随机变量$X$的数学期望，记为$E(x)$，即

$$ E(x)=\textstyle{\Large\int}_{-\infty}^{\infty}xf(x)dx $$

数学期望简称为期望，又称为均值。

数学期望$E(x)$完全由随机变量$X$的概率密度所确定，若$X$服从某一分布，也称$E(X)$是这一分布的数学期望。

2. 期望的性质

• 设$C$是常数，则有$E(C)=C$
• 设$X$是一个随机变量，$C$是常数，则有$E(CX)=CE(X)$
• 设$X$，$Y$是两个随机变量，则有$E(X+Y)=E(x)+E(Y)$
• 设$X$，$Y$是相互独立的随机变量，则有$E(XY)=E(X)E(Y)$

方差

1. 定义

设$X$是一个随机变量，若$E{[X-E(X)]^2}$存在，则称其为$X$的方差（variance）记为$D(X)$或$Var(X)$，即：

$$ D(X)=Var(X)=E{[X-E(X)]^2} $$

在应用上还引入量$\sqrt{D(X)}$，记为$\sigma(X)$，称为标准差或均方差。

随机变量$X$的方差表达了$X$的取值与其数学期望的偏离程度，若$D(X)$较小意味着$X$的取值比较集中在$E(X)$附近；反之若$D(X)$较大则意味着$X$的取值比较分散。因此$D(X)$是刻画$X$取值分散度的一个量，它是衡量$X$取值分散程度的一个尺度。

对于离散型随机变量，

$$ D(X)=\displaystyle\sum_{k=1}^{\infty}[x_k-E(X)]^2 p_k $$

其中$P{X=x_i}=p_k, k=1,2,...$是$X$的分布律

对于连续型的随机变量，

$$ D(X)=\textstyle{\Large\int}_{-\infty}^{\infty}[x-E(X)]^2f(x)dx $$

其中$f(x)$是$X$的概率密度。

随机变量$X$的方差也可以按照下列公式计算：

$$ D(X)=E(X^2)-[E(X)]^2 $$

2. 方差的性质

• 设$C$是常量，则$D(C)=0$
• 设$X$是随机变量，$C$是常数，则$D(CX)=C^2D(X)$，$D(X+C)=D(X)$
• 设$X$，$Y$是随机变量，则有

$$ D(X+Y)=D(X)+D(Y)+2E{[X-E(X)][Y-E(Y)]} $$

特别地，如果$X$，$Y$相互独立，则有

$$ D(X+Y)=D(X)+D(Y) $$

协方差

1. 定义

量$E{[X-E(X)][Y-E(Y)]$称为随机变量$X$和$Y$的协方差（Covariance）。记为$Cov(X,Y)$，即

$$ Cov(X,Y)=E{[X-E(X)][Y-E(Y)] $$

而

$$ \rho_{XY}=\dfrac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} $$

称为随机变量$X$与$Y$的相关系数。

由定义可知：$Cov(X,Y)=Cov(Y,X)$，$Cov(X,X)=D(X)$

方差也可以表达成

$$ D(X+Y)=D(X)+D(Y)+2Cov(X,Y) $$

2. 协方差的性质

• $Cov(aX,bY)=abCov(X,Y)$，$a,b$是常数
• $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

3. 相关系数的性质

• $|\rho_{XY}|\leqslant 1$
• $|\rho_{XY}|= 1$的充要条件是存在常数$a,b$使得$P{Y=a+bX}=1$，即当$|\rho_{XY}|= 1$时，$X$，$Y$之间以概率1存在着线性关系。
• $|\rho_{XY}|=0$时，称$X$和$Y$不线性相关。

$\rho_{XY}$是一个可以用来表征$X$，$Y$之间线性关系紧密程度的量，当$|\rho_{XY}|$较大时，二者的线性相关程度较好，当$|\rho_{XY}|$较小时，二者的线性相关程度较差。

4. “不相关”和“相互独立”

$X$和$Y$不线性相关，并不表示$X$和$Y$相互独立，二者直接可能存在非线性关系，比如平方的关系。相关是就线性关系来说的。

特殊地，对于服从正态分布的随机变量，$X$和$Y$不相关和相互独立是等价的。

协方差矩阵

定义

$n$维随机变量$(X_1,X_2,...,X_n)$，任意二维随机变量的协方差

$$ c_{ij}=Cov(X_i,X_j)=E{[X_i-E(X_i)][X_j-E(X_j)] $$

其中$i,j=1,2,...,n$，都存在，则称矩阵：

$$ C=\begin{bmatrix} c_{11} & c_{12} & ... & c_{1n} \ c_{21} & c_{22} & ... & c_{2n} \ \vdots & \vdots & & \vdots \ c_{n1} & c_{n2} & ... & c_{nn} \end{bmatrix} $$

为$n$维随机变量的协方差矩阵。由于$c_{ij}=c_{ji}$，因此协方差矩阵是一个对称矩阵。