作者：hal3515

链接：https://zhuanlan.zhihu.com/p/424763389

来源：知乎

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

(1)描述性统计

所谓描述性统计，就是对已有的数据的多个特征(最小元素，最大元素，均值，中位数等)进行计算。

1.使用Matlab进行计算

min求最小值
max求最大值
mean求平均值
median求中位数的值
skewness求偏度
kurtosis求峰度
std求标准差

2.使用Excel计算

3.使用Spss计算

(2)正态分布的检验

0.偏度与峰度

偏度：是统计数据分布偏斜方向和程度的度量，是统计数据分布非对称程度的数字特征。定义上偏度是样本的三阶标准化矩。（注意正态分布的偏度为0）

$S=E[(\dfrac{X-\mu}{\sigma})^3]\\$

峰度：表征概率密度分布曲线在平均值处峰值高低的特征数。直观看来，峰度反映了峰部的尖度。定义上偏度是样本的四阶标准化矩。（注意正态分布的峰度为3）

$K=E[(\dfrac{X-\mu}{\sigma})^4]\\$

1. JB 检验(大样本n>30)

step 1：进行假设检验 $H_0:$ 该变量服从正态分布， $H_1:$ 该变量不服从正态分布。
step 2：假设对一个随机变量 $X_i$ ，其峰度为 $K$ ，其偏度为 $S$ ，则构造检验统计量

$JB=\dfrac{n}{6}[S^2+\dfrac{(K-3)^2}{4}]\sim \chi^2(2)\\$ 服从自由度为2的卡方分布。

step 3：代入数据计算出 $JB^*$ ，通过 $JB^*$ 计算出对应的 $p$ 值。
step 4：通过 $p$ 值检验得出结论。(一般取 $p$ 为 0.05 )。
matlab中：[h,p]=jbtest(x,alpha), $x$ 表示要检测的变量，只能取向量，alpha表示显著性水平，h=1表示拒绝原假设，h=0表示接受原假设，p表示返回的p值。

2. 夏皮洛-威尔克检验

step 1：进行假设检验 $H_0:$ 该变量服从正态分布， $H_1:$ 该变量不服从正态分布。
step 2：使用SPSS计算出相应的 $p$ 值。
step 3：通过相应的 $p$ 值进行判断。

(3)皮尔逊相关系数

1.总体皮尔逊Person相关系数

$\rho_{XY}=\dfrac{Cov(X,Y)}{\sigma_x\sigma_y}\\$

这里 $\sigma_x=\sqrt{\dfrac{\displaystyle\sum_{i=1}^{n}(X_i-E(X))^2}{n}}\\$ 与 $\sigma_y=\sqrt{\dfrac{\displaystyle\sum_{i=1}^{n}(Y_i-E(Y))^2}{n}}\\$ 分别是 $X$ 总体与 $Y$ 总体的方差。

$Cov(X,Y)=\dfrac{\displaystyle\sum_{i=1}^{n}(X_i-E(X))(Y_i-E(Y))}{n}\\$ 为总体的协方差。

2.样本皮尔逊Person相关系数

$r_{XY}=\dfrac{Cov(X,Y)}{S_xS_y}\\$

$r_{XY} =$

这里 $S_x=\sqrt{\dfrac{\displaystyle\sum_{i=1}^{n}(X_i-\overline{X})^2}{n-1}}\\$ 与 $S_y=\sqrt{\dfrac{\displaystyle\sum_{i=1}^{n}(Y_i-\overline{Y})^2}{n-1}}\\$ 分别是 $X$ 样本与 $Y$ 样本的方差。

$Cov(X,Y)=\dfrac{\displaystyle\sum_{i=1}^{n}(X_i-\overline{X})(Y_i-\overline{Y})}{n-1}\\$ 为样本的协方差。

3.使用皮尔逊Person相关系数的注意事项

先要判断变量是否大致满足线性关系，可以采用画散点图的方式。当两个变量本来就大致满足线性的关系时，皮尔逊相关系数的绝对值越大，两个变量的相关性越强，但是如果本来就不满足线性关系，就算皮尔逊系数很大也没有意义。

上面的几个图的皮尔逊相关系数都为0.816，但是明显小样本对最终结果产生巨大的影响。 *

如果计算出皮尔逊系数为0，不代表两个变量之间不存在关系。比如下面的温度-冰糕之间必然存在相关性，但是不是线性关系。

可以使用 SPSS 作出散点图先判断是否具有一定的线性关系。

4.使用matlab计算person系数

(1) 使用matlab计算 corrcoef R=corrcoef(A)：返回 $A$ 的相关系数矩阵，其中 $A$ 的列表示随机变量(指标，例如身高、体重等),行表示观测值(样本，例如每一个人的身高、体重等)。 R=corrcoef(A,B)：返回两个变量 $A，B$ 向量之间的相关系数。

(2) 使用Excel计算与美化相关系数表

在数据分析中选取相关系数的计算。
使用色阶图进行美化

(3)对皮尔逊相关系数进行假设检验

1.可以进行假设检验的前提

实验数据通常假设是成对的来自于正态分布的总体。(一般情况下很难满足)。
实验数据之间的差距不能太大，异常值对检验结果影响很大。
每个样本之间是独立抽样的。

2.进行正态分布检验

3.流程

目的是验证计算得出的皮尔逊相关系数是否与0有显著的差异。

step 1 提出原假设与备择假设, $H_0:r=0,H_1:r\not=0$ 。
step 2 构造检验统计量

$r\sqrt{\dfrac{n-2}{1-r^2}}\sim t(n-2) \\$ 服从自由度为2的 $t$ 分布

step 3 计算出检验值(代入数据)得到 $t^*$ 。
step 4 使用 $p$ 检验：计算 $p$ 值

$p=2\times(1-\int_{-\infty}^{t^*}t(x)dx)\\$

step 5 结果说明
- $p<0.01$ ：在99%的置信水平上拒绝原假设。
- $0.01<p<0.05$ ：在 99%的置信水平上无法拒绝原假设，但在95%的水平上可以拒绝原假设。
- $0.05<p<0.1$ ：在95%的置信水平上无法拒绝原假设，但在90%的水平上可以拒绝原假设。
显著性标记: $a,a^*,a^{**}$ ,** 表示在0.01级别（双尾）的相关性显著**，*** 表示在0.05级别（双尾）的相关性显著。
matlab相关:
- tpdf(x,n)： $x$ 取一系列连续的值，可以做出自由度为 $n$ 的 $t$ 分布图像。
- tcdf(t,n)：是自由度为 $n$ 的 $t$ 分布的分布函数。 $t$ 取一个固定的值 $t_c$ ,可以计算出 $T\le t_c$ 的概率。
- tinv(p,n)：自由度为 $n$ 的 $t$ 分布下对应概率为 $p$ 的点的值。