1. 概率论的基本概念

1.1 P(AB)=0

$P(A)=0$
$P(B)=0$
$P(A)=P(B)=0$
$A$、$B$互不相容

1.2 减法公式

　　$P(B-A)=P(B)-P(A)=P(B)-P(AB)=P(B-AB)$

1.3 加法公式

　　$P(A\cup B)=P(A)+P(B)-P(AB)$

1.4 乘法公式

　　$P(AB)=P(A)P(B|A)=P(B)P(A|B)$
　　$P(A_1 A_2 \cdots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1 A_2)\cdots P(A_n|A_1 A_2 \cdots A_{n-1})$

1.5 全概率公式

　　$P(A)=\displaystyle \sum_{i=1}^{n} P(AB_i)=\sum_{i=1}^{n} P(B_i)P(A|B_i)$

1.6 Bayes公式

　　先验概率：$P(B_i)$
　　后验概率：$P(B_i|A)$
　　$\displaystyle P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\sum_{j=1}^{n} P(B_j)P(A|B_j)}$

1.7 独立&互不相容

1.7.1 独立

　　事件A与B不相关
　　$P(AB)=P(A)P(B)$

1.7.2 互不相容

　　事件A与B是不可能同时发生的
　　$AB=\emptyset$

2. 随机变量及其分布

2.1 随机变量分布函数的性质

$0\leq F(x)\leq 1 (x\in R)$
单调不减函数
右连续，$F(x+0)=F(x)$
$F(a<x\leq b)=F(b)-F(a)$

2.2 几种重要的离散型随机变量

2.2.1 0-1分布/两点分布

$$P(x=k)=p^k(1-p)^{1-k}, \quad X\sim B(1,p)$$

2.2.2 Bernoulli试验与二项分布

　　n次独立重复试验
$$P(x=k)=C_n^kp^k(1-p)^k, \quad X\sim B(n,p)$$
　　当n=1时，二项分布变为0-1分布

2.2.3 Poisson分布

　　当二项分布n很大、p很小时，令$\lambda=np$，得到$C_n^kp^k(1-p)^k \approx \frac{\lambda^k}{k!}e^{-\lambda}$，即
$$P(x=k)=\frac{\lambda^k}{k!}e^{-\lambda}, \quad X\sim P(\lambda)$$

2.2.4 几何分布

$$P(x=k)=(1-p)^{k-1}p$$

2.2.5 超几何分布

　　N件产品，M件次品，任取n件，取出次品数X的分布律
$$P(x=k)= \frac{C^{n-k}_{N-M} C^k_M }{C^n_N}, \quad k=0,1,2,\dots,\min{M,n}$$

2.3 连续型随机变量及其概率密度

$F(x)=\int_{-\infty}^{x} f(t)dt$
$f(x)\geq 0(-\infty<x<+\infty)$
$P(a<X\leq b)=\int_{a}^{b}f(x)dx=F(b)-F(a)$

2.4 几种重要的连续型随机变量

2.4.1 均匀分布

$$f(x)= \begin{cases}
\frac{1}{b-a} & {a<x<b} \\
0 & {otherwise}
\end{cases},
\quad X\sim U(a,b)$$

$$F(x)= \begin{cases}
0 & {x<a} \\
\frac{x-a}{b-a} & {a\leq x<b} \\
1 & {x\geq b} \\
\end{cases}$$

2.4.2 正态分布

$$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},
\quad X\sim N(\mu,\sigma^2)$$

标准正态分布：$X\sim N(0,1)$
令$F=\phi(\frac{x-\mu}{\sigma}), f=\varphi$

$\phi(0)=\frac{1}{2}$
$\phi(-x)=1-\phi(x)$
设$X\sim N(\mu,\sigma^2)$，则$Z=\frac{X-\mu}{\sigma} \sim N(0,1)$，称$Z$为$X$的标准化
“3$\sigma$规则”：$P(|X-\mu|<3\sigma)=\phi(3)-\phi(-3)=0.9972$

2.4.3 指数分布

$$f(x)=\begin{cases}
\lambda e^{-\lambda x} & {x>0} \\
0 & {x\leq 0}
\end{cases},
\quad X\sim E(\lambda)$$

指数分布具有无记忆性：$P(X>s+t|X>s)=P(X>t)$

2.5 随机变量函数及其分布(Y=g(X))

2.5.1 分布函数法

$F_Y(y)=P(Y\leq y)=P(g(X)\leq y)$
$y$分段讨论
$f_Y(y)=F’_Y(y)$

2.5.2 公式法

　　$y=g(x)$严格单调可微，$x=h(y)$
　　$f_Y(y)= \begin{cases}
f_X(h(y))|h’(y)|, & {y\in I} \\
0, & {other}
\end{cases}$

3. 多维随机变量及其分布

3.1 联合分布

3.1.1 二维随机变量及其联合分布函数

$P(x_1<X\leq x_2, y1<Y\leq y_2)=F(x_2,y_2)-F(x_1,y_2)-F(x_2,y_1)+F(x_1,y_1)\geq 0$
$F(-\infty,y)=F(x,-\infty)=F(-\infty,-\infty)=0, \quad F(+\infty,+\infty)=1$
固定一个变量，$F(x,y)$单调不减，右连续

3.1.2 连续型随机变量

$F(x,y)=\int_{-\infty}^{x}\int_{-\infty}^{y}f(u,v)dudv$
$\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(u,v)dudv=1$

3.2 边缘分布

3.2.1 二维随机变量的边缘分布函数

　　$F_X(x)=F(x,+\infty)$
　　$F_Y(y)=F(+\infty,y)$

3.2.2 离散

　　$p_{i\cdot}=P(X=x_i)=\displaystyle\sum_jp_{ij}$
　　$p_{\cdot j}=P(Y=y_j)=\displaystyle\sum_ip_{ij}$

3.2.3 连续

　　$f_X(x)=\int_{-\infty}^{+\infty}f(x,y)dy$
　　$f_X(x)=\int_{-\infty}^{+\infty}f(x,y)dx$

3.3 条件分布

3.3.1 二维离散型随机变量的条件分布律

　　$P(X=x_i|Y=y_i)=\frac{p_{ij}}{p_{\cdot j}}$
　　$P(Y=y_i|X=x_i)=\frac{p_{ij}}{p_{i\cdot}}$

3.3.2 二维连续型随机变量的条件概率密度

　　如果对于任意固定的$y$，有$f_Y(y)>0$，则称
　　$F_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$为在$Y=y$的条件下随机变量$X$的条件概率密度

3.4 随机变量的独立性

$F(x,y)=F_X(x)F_Y(y)$
离散：$p_{ij}=p_{i\cdot}p_{\cdot j}$
连续：$f(x,y)=f_X(x)f_Y(y)$

3.5 二维随机变量函数及其分布(Z=g(X, Y))

3.5.1 离散

　　$P(Z=z_l)=\displaystyle \sum_{g(x_i,y_j)=z_l} p_{ij}$

当$Z=X+Y$时，有
　　$P(Z=z_l)=\displaystyle \sum_{x_i+y_j=z_l} p_{ij} = \sum_{x_i+y_j=z_l}P(X=x_i,Y=y_j)\\
　　　=\displaystyle \sum_{i} P(X=x_i, Y=z_i-x_i)$
　　若$X$与$Y$相互独立，则
　　$P(Z=z_l)=\displaystyle \sum_{i} P(X=x_i)P(Y=z_l-x_i)$
　　（也可令$X=z_l-y_i，Y=y_i$）

3.5.2 连续

　　$F_Z(z)=P(Z\leq z)=P(g(X,Y)\leq z)=\displaystyle \iint_{g(x,y)\leq z} f(x,y)dxdy$

当$Z=X+Y$时，有
　　$F_Z(z)=\displaystyle \int_{-\infty}^{+\infty}f(z-y,y)dy= \int_{-\infty}^{+\infty}f(x,z-x)dx$
　　若$X$与$Y$相互独立，则
　　$F_Z(z)=\displaystyle \int_{-\infty}^{+\infty}f_X(z-y)f_Y(y)dy= \int_{-\infty}^{+\infty}f_X(x)f_Y(z-x)dx$
有限个互相独立的正太随机变量的线性组合（系数不全为零）仍然服从正态分布

4. 随机变量的数字特征

4.1 数学期望

4.1.1 定义

　　$E(X)=EX=\displaystyle \sum_i x_ip_i=\int_{-\infty}^{+\infty} xf(x)dx$
　　具体分布的数学期望见这篇帖子

4.1.2 随机变量函数的数学期望

　　$EY=E[g(X)]=\displaystyle \sum_i g(x_i)p_i=\int_{-\infty}^{+\infty} g(x)f(x)dx$

4.1.3 性质

$EC=C$
$E(CX)=C\cdot EX$
$E(X+Y)=EX+EY$
相互独立则$E(XY)=EX\cdot EY$
Cauchy-Schowarz不等式：设$EX^2<+\infty$，$EX^2<+\infty$，则$[E(XY)]^2\leq EX^2 EY^2$

4.2 方差

4.2.1 定义

　　$DX=E(X-EX)^2\\
　　=EX^2-(EX)^2$

4.2.2 性质

$DC=0$
$D(X+C)=DX$
$D(CX)=C^2DX$
相互独立则$D(X+Y)=DX+DY$
$DX=0$ 的充要条件为 $P(X=EX)=1$

4.3 协方差与相关系数

4.3.1 协方差

4.3.1.1 定义

　　$cov(X,Y)=E(X,Y)-EX\cdot EY$

4.3.1.2 性质

$cov(X,X)=DX$
$cov(X,Y)=cov(Y,X)$
$cov(aX+b,cY+d)=ac\cdot cov(X,Y)$
$cov(X_1+X_2,Y)=cov(X_1,Y)+cov(X_2,Y)$
$D(X\pm Y)=DX+DY\pm 2cov(X,Y)$

4.3.2 相关系数

4.3.2.1 定义

　　若$DX>0, DY>0$，则称 $\rho_{XY}=\frac{cov(X,Y)}{\sqrt{DX} \sqrt{DY}}$ 为$X$与$Y$的相关系数

4.3.2.2 性质

$|\rho_{XY}|\leq 1$
$X、Y$相互独立且方差均大于0，则$\rho_{XY}=0$
$|\rho_{XY}|=1$的充要条件：存在常数$a(a\neq 0)$与$b$，使得$P(Y=aX+b)=1$

4.3.3 不相关及其条件

不相关的定义：$\rho_{XY}=0$
X、Y相互独立且方差均大于0，则X、Y不相关，但反之不然
若$(X,Y)\sim $二维正态分布，则X、Y不相关的充要条件：相互独立
设X、Y的方差均大于0，则X、Y不相关等价于：
- $cov(X,Y)=0$
- $E(XY)=EX\cdot EY$
- $D(X+Y)=D(X-Y)=DX+DY$

4.4 n维正太随机变量

//以后再补充

5. 大数定律及中心极限定理

5.1 Chebyshev(切比雪夫)不等式

　　$\displaystyle P(|X-EX|\geq \varepsilon) \leq \frac{DX}{\varepsilon^2}\\
\displaystyle P(|X-EX|<\varepsilon) \geq 1-\frac{DX}{\varepsilon^2}$

5.2 大数定律

　　随机变量序列前若干项的算术平均值 $\xrightarrow{在某种条件下收敛到}$ 这些项的均值的算术平均值

5.2.1 Chebyshev大数定律

　　$X_i$相互独立，具有相同的数学期望，即$EX_i=\mu$，存在$C>0$，使得$DX_i\leq C$
　　$\displaystyle\lim_{n\rightarrow\infty}P(|\frac{1}{n}\sum_{i=1}^n X_i-\mu|\geq \varepsilon)=0$
　　即$\displaystyle\frac{1}{n}\sum_{i=1}^n X_i\xrightarrow{P}\mu, \quad n\rightarrow\infty$

5.2.2 Khintchine大数定律

　　$X_i$独立同分布，具有有限的数学期望，即$EX_i=\mu$
　　$\displaystyle\lim_{n\rightarrow\infty}P(|\frac{1}{n}\sum_{i=1}^n X_i-\mu|\geq \varepsilon)=0$
　　即$\displaystyle\frac{1}{n}\sum_{i=1}^n X_i\xrightarrow{P}\mu, \quad n\rightarrow\infty$

5.2.3 Bernoulli大数定律

　　$n_A$表示事件A发生的次数，$p$是事件A在一次试验中发生的概率即$P(A)=p$
　　$\displaystyle\lim_{n\rightarrow\infty}P(|\frac{n_A}{n}-p|\geq \varepsilon)=0$
　　即 $\frac{n_A}{n}\xrightarrow{P}p, \quad n\rightarrow\infty$

5.3 中心极限定理

5.3.1 独立同分布中心极限定理

　　也称为Lindeberg-Levy(林德伯格-勒维)中心极限定理
　　当n充分大时，$\displaystyle\sum_{i=1}^{n}X_i$近似服从以它的均值为均值，以它的方差为方差的正态分布，即$N(n\mu,n\sigma^2)$
　　$\displaystyle P(\sum_{i=1}^{n}X_i\leq x)\approx \phi(\frac{x-n\mu}{\sqrt{n}\sigma})$
　　$\displaystyle P(a<\sum_{i=1}^{n}X_i\leq b)\approx \phi(\frac{b-n\mu}{\sqrt{n}\sigma})-\phi(\frac{a-n\mu}{\sqrt{n}\sigma})$

5.3.2 De Moivre - Laplace 中心极限定理

　　n重伯努利试验，当n充分大时，X近似服从以它的均值为均值，以它的方差为方差的正态分布，即$N(np,np(1-p))$
　　$\displaystyle P(X\leq x)\approx\phi(\frac{x-np}{\sqrt{np(1-p)}})$
　　$\displaystyle P(a<X\leq b)\approx\phi(\frac{b-np}{\sqrt{np(1-p)}})-\phi(\frac{a-np}{\sqrt{np(1-p)}})$

6. 数理统计的基本概念

6.1 公式

已知$EX=\mu，DX=\sigma^2$，
- 样本均值$\bar{X}$，样本均值的样本值$\bar{x}$，样本方差$S^2$，样本方差的样本值$s^2$，则
  $\displaystyle \bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i$
  $\displaystyle S^2=\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})^2=\frac{1}{n-1}(\sum_{i=1}^{n}X_i^2-n\bar{X}^2)$
- $\displaystyle E\bar{X}=\mu，D\bar{X}=\frac{\sigma^2}{n}，ES^2=\sigma^2，DS^2=\frac{2\sigma^4}{n-1}$
- //k阶原点矩、中心矩

6.2 抽样分布

统计量的分布为抽样分布

6.2.1 四大基础分布

6.2.1.1 标准正态分布：$X\sim N(0,1)$

$\alpha$分位点$z_\alpha(0<\alpha<1)$：$p(x>z_\alpha)=\alpha$
$\phi(z_\alpha)=P(X\leq z_\alpha)=1-\alpha$
$z_{1-\alpha}=-z_\alpha$

6.2.1.2 $χ^2$分布：$χ^2\sim χ^2(n)$

$X_i$独立同$N(0,1)$分布，$χ^2=\sum_{i=1}^{n}X_i^2$ 称为服从自由度为n的卡方分布