统计特征¶

约 1086 个字预计阅读时间 6 分钟

典型分布的 E&D¶

分布类型	0-1分布	二项分布	泊松分布	均匀分布	指数分布	正态分布	几何分布
E(x)	$p$	$np$	$$\lambda=np$$	$$\frac{a+b}{2}$$	$$\frac{1}{\lambda}$$	$\mu$	$$\frac{1}{p}$$
D(x)	$p(1 - p)$	$np(1 - p)$	$$\lambda=np$$	$$\frac{(b-a)^2}{12}$$	$$\frac{1}{\lambda^2}$$	$$\sigma^2$$	$$\frac{1-p}{p^2}$$

期望 | 方差 | 协方差与相关性计算/性质¶

表达式¶

$\begin{aligned}&E_X=\int\int xf(x,y)dxdy\\&E_{XY}=\int\int xyf(x,y)dxdy\\&E_Y=\int\int yf(x,y)dxdy\end{aligned}$

即函数*对应的边缘概率密度的一阶积分

$\to cov(X,Y)=E_{XY}-E_XE_Y$

$\begin{aligned}&E_{X^2}=\iint x^2f(x,y)dxdy\\&E_{Y^2}=\iint y^2f(x,y)dxdy\end{aligned}$

$\begin{aligned}&D_{X}=E(X-E(X)^2)^2=E_{X^2}-(E_X)^2\\&D_{Y}=E_{Y^2}-(E_Y)^2\end{aligned}$

$\to\rho=\frac{cov(X,Y)}{\sqrt{D_X}\cdot\sqrt{D_Y}}$

基本性质¶

Ex 可拆,系数可提,常数期望是本身，有限可加
$D(X\pm Y)=D_X+D_Y\pm2cov(X,Y) \quad D(CX)=C^{2}D_X \quad D(5)=0$
$cov(aX,bY)=abcov(X,Y)$
$当\rho=\pm1时,线性相关\quad \rho=0时不相关$
不相关时，有$\begin{cases}COV=0\\EXY=EX\cdot EY\\D(X+Y)=D_X+D_Y&\end{cases}$

随机变量函数的数学期望： $E[g(X)]=\int_{-\infty}^{\infty}g(x)f(x)d x$
二维随机变量函数的数学期望： $E[g(X,Y)]=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x,y)f_{X Y}(x,y)d x d y$
离散下有：$E[g(X,Y)]=\sum_{i}\sum_{j}g(x_{i},y_{j})\cdot P\{X=x_{i},Y=y_{j}\}$
n 维随机变量函数的数学期望$\begin{array}{l l}{{}}&{{E[g(X_{1},X_{2},\cdot\cdot\cdot\cdot,X_{n})]}}\\ {{}}&{{=\displaystyle\int_{-\infty}^{\infty}\cdot\cdot\cdot\int_{-\infty}^{\infty}g(x_{1},x_{2},\cdot\cdot\cdot\cdot,x_{n})f_{X}(x_{1},x_{2},\cdot\cdot\cdot\cdot,x_{n})d x_{1}\cdot\cdot\cdot d x_{n}}}\end{array}$

例 | 证明

条件数学期望¶

这还是一个【随机变量】，随 X 变化而变化 | 当 X = x 时确定

将边缘概率密度函数改为条件概率密度即可

连续型：$E[Y/X=x]=\int_{-\infty}^{\infty}y\cdot f_{Y}(y/x)d y=E[Y/x]\to g(x)$

离散型：$E[Y/X=x]=\sum_{j}y_{j}P\{Y=y_{j}/X=x\}=E[Y/x]\to g(x_{i})$

性质：

$E_X\{E[Y/X]\}=E[Y]$,即条件期望的期望为无条件期望
$E\{E[g(X,Y)/X]\}=E[g(X,Y)]$
$E[g(X)\cdot Y/X]=g(X)\cdot E[Y/X]$
$X\text{与}Y\text{相互独立时,}E[Y/X]=E[Y]$
$E[C/X]=C\leftarrow$C 为常数、且与一切随机变量独立

例

随机变量的矩和方差¶

1~4 阶矩的意义

矩生成函数¶

矩生成函数

原点矩与中心矩¶

定义

方差与均方差（标准差）¶

方差：$D[X]=E\{[X-E(X)]^{2}\}=E\{[X-m_{X}]^{2}\}$

标准差：$\sigma=+\sqrt{D[X]}$

二维随机变量的协方差¶

用于 Judge 相关性

\[ E[(X-m_{X})(Y-m_{Y})]=C_{X Y} \]

亦可写为$C_{X Y}=E[(X-m_{X})(Y-m_{Y})]=E[X Y]-m_{X}m_{Y}=R_{X Y}-m_{X}m_{Y}$

当互不相关时，有$E[X Y]=E[X]E[Y]$

随机矢量的方差¶

定义方差 Var 为$D X=E[(X-E X)(X-E X)^{\mathrm{{T}}}]$

除对角线为方差（自协方差）外，呈对称互协方差【对称矩阵】，即

\[ D X={\left[\begin{array}{l l l l}{D[X_{1}]}&{C_{12}}&{\cdots}&{C_{1n}}\\ {C_{21}}&{D[X_{2}]}&{\cdots}&{C_{2n}}\\ {\vdots}&{\vdots}&{}&{\vdots}\\ {C_{n1}}&{C_{n2}}&{\cdots}&{D[X_{n}]}\end{array}\right]}=C_{X} \]

线性相关系数¶

为求解最佳线性拟合参数，使参数偏导为 0，并引入均方误差打分

当均方误差最小时，有

\[ Y_{p}=a+b X=m_{Y}+{\frac{C_{X Y}}{\sigma_{X}^{2}}}\big(X-m_{X}\big) \]

将 X | Y 归一化

\[ \dot{X}=\frac{X-m_{X}}{\sigma_{X}},~~~\dot{Y}=\frac{Y_{p}-m_{Y}}{\sigma_{Y}} \]

得

\[ {\dot{Y}}={\frac{C_{X Y}}{\sigma_{X}\sigma_{Y}}}{\dot{X}} \]

斜率即为线性相关系数

独立、不相关与正交之间的关系

独立充要条件： $f_{\scriptscriptstyle\mathrm{XY}}(x,y)=f_{\scriptscriptstyle\mathrm{X}}(x)f_{\scriptscriptstyle\mathrm{Y}}(y)$
正交充要条件： $R_{X Y}=E[X Y]=0$
互不相关充要：$\rho_{XY}=0\Leftrightarrow C_{XY}=0\Leftrightarrow E[X\cdot Y]=E[X]\cdot E[Y] \Leftrightarrow D[X\pm Y] = D[X] + D[Y]$
互不相关与独立关系：独立可以推得不相关，反之不成立，除非在高斯分布的前提下
正交与互不相关关系：当任一随机变量期望为 0 且正交，则不相关
独立与正交关系$\mu=0$ 时的零均值高斯分布下两者等价