随机变量 r.v. 及其分布¶

约 952 个字预计阅读时间 5 分钟

随机变量的定义¶

\(\text{设E的样本空间为 }\Omega\text{ ,对于每一个样本点 }\omega\in\Omega\text{ ,都有唯一的实数 }X(\omega)\text{ 与之对应}\) \(\text{且对于任意实数x,事件 }\{w|X(w)\leq x\}\text{ 都有确定的概率 }P\{w|X(w)\leq x\}\text{ 与}\text{之对应,则称 }\) \(X(\omega)\text{ 为随机变量}(\text{random variable}),\text{简记为 }X(\omega)\) \(\text{每个样本}\zeta_k\overset{\text{映射}}{\operatorname*{\operatorname*{\to}}}\text{实数轴}(\mathbb{R}\text{空间})x_k\)

说人话,即对某一概率空间提出某一条件后的可能集合

分布律¶

描述概率分布特性

\[ \begin{array}{cccccccc}X&x_1&x_2&\cdots&x_k&\cdots&\cdots\\P&p_1&p_2&\cdots&p_k&\cdots&\cdots\end{array} \]

有非负性，归一性（你在马尔可夫转移矩阵性质还会看见它们）

积分下每⼀点的概率为 0，故连续型随机变量无分布律
而离散型随机变量可用冲激函数表示分布函数

分布函数 d.f.¶

左侧的概率和/积分，左开右闭

表达式

\[ F(x)=P(X\leq x) \]

离散型：\(F(x)=P(X\leq x)=\sum_{x_k\leq x}P(X=x_k)=\sum_{x_k\leq x}p_k=\sum_{k=1}^\infty p_k\cdot u(x-x_k)\)

连续型：\(F(x)=P(X\leq x)=\int_{-\infty}^xf(t)dt\)

性质：

单调不减
取值(0,1)
右连续

用分布函数表示概率：

\(\begin{aligned}&P(a<X\leq b)=F(b)-F(a)\\&P(X>a)=1-P(X\leq a)=1-F(a)\\&P\begin{pmatrix}X<b\end{pmatrix}=F\begin{pmatrix}b_{0^-}\end{pmatrix}\\&P(a\leq X\leq b)={F(b)-F(a_{0^-})}\\&P(a<X<b)=F(b-0)-F(a)\\&P\left(a\leq X<b\right)=F\left(b_{0^-}\right)-F\left(a_{0^-}\right)\\&P\left(X=a\right)=F\left(a\right)-F\left(a_{0^-}\right)\\&P\left(X\geq a\right)=1-F\left(a_{0^-}\right)\end{aligned}\)

概率密度函数 p.d.f.¶

包围面积为分布函数的结果即【概率】

离散型：\(f(x)=F^{\prime}(x)=\left\{\sum_{k=1}^\infty p_k\cdot U(x-x_k)\right\}^{^{\prime}}=\sum_{k=1}^\infty p_k\cdot\delta(x-x_k)\)

连续型：\(F(x)=P(X\leq x)=\int_{-\infty}^xf(t)dt\)中的 f(t)

性质：

\(f(x)\geq 0\)
积分和为 1
\(P\{x_1<X\leq x_2\}=F(x_2)-F(x_1)=\int_{x_1}^{x_2}f(x)dx\)
F(x)唯一而 f(x)不唯一【从定义入手】

常见离散型分布¶

0-1 分布二项分布泊松分布几何分布超几何分布

只有俩结果

\[ P\left(X=k\right)=p^k\left(1-p\right)^{1-k},\quad k=0,1 \]

n 重 Bernoulli 试验中,发生 n 次的概率

\[ P_{_n}\left(k\right)=P\left(X=k\right)=C_{_n}^{k}p^{k}\left(1-p\right)^{n-k},\quad k=0,1,\cdots,n \]

记为\(X \sim B(n,p)\)

\[ P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda},\quad k=0,1,\cdots \]

记为\(X \sim P(\lambda)\)

\(当|n>10\&p<0.1|时,可用泊松分布代替二项分布 \lambda=np\)

独立重复实验,首次满足条件时所用次数

\[ P(X=k)=(1-p)^{k-1}\cdotp\quad k=1,2,\cdots\cdots \]

\[ P(X=k)=\frac{C_M^kC_{N-M}^{n-k}}{C_N^n}k=\max(0,n-(N-M)),\cdots,\min(n,M) \]

常见连续型¶

均匀分布指数分布（寿命分布）高斯分布

\[ \begin{cases}f(x)=\begin{cases}\frac{1}{b-a},&a<x<b\\\\0,&else&\end{cases}\\\\F(x)=P\begin{Bmatrix}X\leq x\end{Bmatrix}=\begin{cases}0,&x<a\\\\\frac{x-a}{b-a},&a\leq x<b\\\\1&x\geq b&\end{cases}&\end{cases} \]

记为 \(X\sim U(a,b)\)

\[ \begin{cases}f(x)=\begin{cases}\lambda e^{-\lambda x},&x>0\\0,&x\leq0&\end{cases}\\F(x)=P\left\{X\leq x\right\}=\begin{cases}1-e^{-\lambda x},&x>0\\0,&else&\end{cases}&\end{cases} \]

记为\(X\sim E(\lambda)\)

\[ f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\quad-\infty<x<+\infty \]

记为\(X\sim N(\mu,\sigma)\)

二项分布与其他分布之间的关系

二维随机变量¶

联合分布函数¶

\[ \text{每个样本}\zeta_k\overset{\text{映射}}{\operatorname*{\operatorname*{\to}}}\text{实平面}(R^2\text{空间})(x_k,y_k) \]

连续型：\(F_{XY}(x,y)=P\{X\leq x,Y\leq y\}\)

离散型：\(=\sum_i^\infty\sum_j^\infty p_{ij}\cdot U(x-x_i)\cdot U(y-y_i)\)

性质

归一性
单调不减
右连续
相容性

联合概率密度函数¶

连续：\(f_{XY}(x,y)=\frac{\partial^2F_{XY}(x,y)}{\partial x\partial y}\)

离散：\(=\sum_i\sum_jp_{ij}\delta(x-x_i)\delta(y-y_j)\)

性质：

\(f(x,y)\geq0\)
\(\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(x,y)dydx=1\)
\(F_{XY}\left(x,y\right)=\int_{-\infty}^{x}\int_{-\infty}^{y}f_{XY}\left(u,v\right)dudv\)
\(P\{(x,y)\in D\}=\underset{D}{\operatorname*{\operatorname*{\iint}}}f(x,y)dxdy\)

联合分布律¶

\[ p_{ij}=P\{X=x_i,Y=y_j\},i,j=1,2,... \]

性质：

\(p_{ii}\geq0,i,j=1,2,...\)
\(\sum_{i\geq1}\sum_{j\geq1}p_{ij}=1\)

边缘分布函数¶

\[ F_X(x)=F_{_{XY}}(x,+\infty),F_Y(y)=F_{_{XY}}(+\infty,y) \]

也有

\[ F_X(x)=\int_{-\infty}^x\int_{-\infty}^{+\infty}f(u,v)dvdu,F_Y(y)=\int_{-\infty}^y\int_{-\infty}^{+\infty}f(u,v)dudv \]

边缘概率密度函数¶

\[ f_X(x)=\int_{-\infty}^\infty f(x,y)dy,f_Y(y)=\int_{-\infty}^\infty f(x,y)dx \]

边缘分布律¶

\[ p_i=P(X=x_i)=\sum_{j=1}^\infty p_{ij}\quad i=1,2,\cdots \\p_j=P(Y=y_i)=\sum_i^\infty p_{ij}\quad j=1,2,\cdots \]

在二维表格中表示为：

\[ \begin{array}{ccccccc}&{y_1}&\cdots&{y_j}&...&{p_1.}\\{x_1}&p_{11}&...&p_{1j}&...&p_1.\\\vdots&\vdots&...&\vdots&...&\vdots\\{x_i}&p_{i1}&...&p_{ij}&...&p_i.\\\vdots&\vdots&...&\vdots&...&\vdots\\{p_{.j}}&p_{1}&...&p_{j}&...&1\end{array} \]

条件分布函数¶

\[ F_{X\mid Y}(x\mid y)=P\left\{X\leq x|Y=y\right\}=\int_{-\infty}^x\frac{f(u,y)}{f_Y(y)}du \]

性质：

\(F_Y(\infty/B)=1,\quad F_Y(-\infty/B)=0,\quad0\leq F_Y(y/B)\leq1\)
\(F_Y(y_2/B)-F_Y(y_1/B)=P\{y_1<Y\leq y_2/B\}\)

条件概率密度¶

\[ f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)} \]

或者

\[ \boxed{f_{XY}(x,y)=f_Y(y/x)\cdot f_X(x)=f_X(x/y)\cdot f_Y(y)} \]

性质：

\(\begin{aligned}&(1)f_Y(y/B)\geq0\\&(2)\int_{-\infty}^{\infty}f_Y(y/B)dy=F_Y(\infty/B)-F_Y(-\infty/B)=1\\&(3)F_Y(y/B)=\int_{-\infty}^yf_Y(\nu/B)d\nu\end{aligned}\)

条件分布律¶

\[ P\{Y=y_{j}/X=x_{i}\}=\frac{P\{X=x_{i},Y=y_{j}\}}{P\{X=x_{i}\}}=\frac{p_{i j}}{p_{i}},\quad j=1,2,\cdot\cdot\cdot \]

独立性条件¶

\[ f_{X Y}(x,y)=f_{Y}(y)\cdot f_{X}(x) \]

即

f(x,y) 可拆分为 f(x,y) ，即相乘
取值范围独立

离散型随机变量独立

\[ P\{X=x_{i},Y=y_{j}\}=P\{X=x_{i}\}\cdot P\{Y=y_{j}\}......(i,j=1,2,\cdots) \]

N 维随机变量及其分布¶

联合分布函数 \(F_{X}(x_{1},x_{2},\cdot\cdot\cdot\,,x_{n})=P\{X_{1}\leq x_{1},X_{2}\leq x_{2},\cdot\cdot\cdot X_{n}\leq x_{n}\}\)
联合密度函数 \(f_{X}(x_{1},x_{2},\cdot\cdot\cdot x_{n})={\frac{\partial^{2}F_{X}(x_{1},x_{2},\cdot\cdot\cdot x_{n})}{\partial x_{1}\partial x_{2}\cdot\cdot\cdot\partial x_{n}}}\)
边缘分布函数 \(F_{X_{i}}(x_{i})=F_{X1,X2,\ldots,X n}(+\infty,...,+\infty,x_{i},+\infty,...,+\infty)\)
边缘概率密度 \(f_{X_{i}}(x_{i})=\int_{-\infty}^{+\infty}\cdots\int_{-\infty}^{+\infty}f_{X1,X2,\ldots,X n}(x_{1},...,x_{n})d x_{1}...d x_{i-1}d x_{i+1}...d x_{n}\)
条件概率密度函数 \(f_{X n}(x_{n}/x_{1},x_{2},\cdot\cdot\cdot\,,x_{n-1})={\frac{f_{X1,X\;2,\ldots,X n}(x_{1},\cdot\cdot\cdot\,,x_{n})}{f_{X_{1}\ldots X_{n-1}}(x_{1},\cdot\cdot\cdot\,,x_{n-1})}}\)

一维随机变量函数分布¶

\[ Y=X^{2} \]

计算步骤

写出 X 的密度函数 \(f_{_X}\ (\ x\ ),\ x\ \in\ \Omega_{_X}\)
判断 \(Y=g(x)\) 在 \(\Omega_{x}\) 上严格单调
∵ \(X\;\in\;\Omega_{x}\;,\;\therefore\;Y\;=\;g\left(X\right)\;\in\;\Omega_{{\scriptscriptstyle Y}}\)
求出反函数 \(\mathsf{h}\left(\mathsf{y}\right)\) 与其导数 \(\mathsf{h}^{\prime}\left(\mathsf{y}\right)\)
\(f_Y(y)=\begin{cases}f_X[h(y)]\mid h^{\prime}(y)\mid,\quad y\in\Omega_Y\\0,\quad else&\end{cases}\)
若分段/反函数多值，则需要求和

二维随机变量函数分布¶

步骤

写出 \(x_{1}=h_{1}(y_{1},y_{2}),x_{2}=h_{2}(y_{1},y_{2})\)
计算雅可比 J 值 \(J=\begin{vmatrix}\frac{\partial h_1}{\partial y_1}&&\frac{\partial h_1}{\partial y_2}\\\frac{\partial h_2}{\partial y_1}&&\frac{\partial h_2}{\partial y_2}\end{vmatrix}\)
代入 \(f_{X_{1}X_{2}}(y_{1},y_{2})=\left|J\right|\cdot f_{X_{1}X_{2}}\left[h_{1}(y_{1},y_{2}),h_{2}(y_{1},y_{2})\right]\)
根据代入法基于 x 的定义域找出 \(y\in\Omega_{Y}\)

N 维随机变量函数¶

看不懂思密达

例

构造 \(\mathsf{n}\) 维关于的 Y 的随机变量的目的是求 Y 的概率密度

那就需要在维度中保证存在 Y

这就是为什么 Yn=Y 而非 Xn