# Statistical Methods for ML/AI Experiments

完整的统计分析方法指南，用于 ML/AI 实验结果分析。

## 基础统计量

### 均值 (Mean)

**定义**: 所有观测值的平均值

**公式**: μ = (Σx) / n

**报告格式**: "模型在测试集上达到 85.3% 的准确率"

### 标准差 (Standard Deviation, SD)

**定义**: 衡量数据分散程度

**公式**: SD = √[Σ(x - μ)² / (n-1)]

**报告格式**: "准确率为 85.3% ± 2.1%（标准差）"

**何时使用**: 描述数据的变异性

### 标准误 (Standard Error, SE)

**定义**: 样本均值的标准差

**公式**: SE = SD / √n

**报告格式**: "准确率为 85.3% ± 0.7%（标准误）"

**何时使用**: 估计均值的不确定性

### 标准差 vs 标准误

| 特性 | 标准差 (SD) | 标准误 (SE) |
|------|------------|------------|
| 含义 | 数据的分散程度 | 均值估计的不确定性 |
| 随样本量变化 | 不变 | 减小（∝ 1/√n） |
| 用途 | 描述数据变异 | 推断总体均值 |
| 报告场景 | 描述性统计 | 推断性统计 |

**重要**: 论文中必须明确说明使用的是标准差还是标准误。

### 置信区间 (Confidence Interval)

**定义**: 总体参数的可能范围

**95% 置信区间公式**: CI = μ ± t(α/2, n-1) × SE

**报告格式**: "准确率为 85.3% [95% CI: 83.9%, 86.7%]"

**解释**: 95% 的置信区间意味着如果重复实验多次，95% 的区间会包含真实值。

## 预先检验（必须执行）

在进行参数检验前，必须验证数据是否满足检验的假设条件。

### 1. 正态性检验 (Normality Test)

**目的**: 验证数据是否服从正态分布

**何时需要**: 使用 t-test、ANOVA 等参数检验前

**常用方法**:

#### Shapiro-Wilk 检验
- **适用**: 样本量 n < 50
- **零假设**: 数据服从正态分布
- **判断**: p > 0.05 → 接受正态分布假设
- **使用场景**: 小样本，最常用

#### Kolmogorov-Smirnov 检验
- **适用**: 样本量 n ≥ 50
- **零假设**: 数据服从正态分布
- **判断**: p > 0.05 → 接受正态分布假设
- **使用场景**: 大样本

#### Anderson-Darling 检验
- **适用**: 所有样本量
- **优点**: 对尾部偏离更敏感
- **使用场景**: 需要检测尾部异常时

#### Q-Q 图 (Quantile-Quantile Plot)
- **类型**: 图形化方法
- **判断**: 点接近直线 → 正态分布
- **优点**: 直观展示偏离程度
- **使用场景**: 配合数值检验使用

**不满足正态性时的处理**:
1. 数据转换（log, sqrt, Box-Cox）
2. 使用非参数检验（Wilcoxon, Mann-Whitney U）
3. 增加样本量（中心极限定理）

### 2. 方差齐性检验 (Homogeneity of Variance)

**目的**: 验证多组数据的方差是否相等

**何时需要**: 使用独立样本 t-test、ANOVA 前

**常用方法**:

#### Levene 检验
- **适用**: 最常用，对非正态分布鲁棒
- **零假设**: 各组方差相等
- **判断**: p > 0.05 → 接受方差齐性假设
- **使用场景**: 默认选择

#### Bartlett 检验
- **适用**: 数据严格正态分布时
- **零假设**: 各组方差相等
- **判断**: p > 0.05 → 接受方差齐性假设
- **使用场景**: 正态性已验证

#### Brown-Forsythe 检验
- **适用**: Levene 检验的改进版
- **优点**: 对非正态分布更鲁棒
- **使用场景**: 数据明显偏态时

**不满足方差齐性时的处理**:
1. 使用 Welch's t-test（不假设方差相等）
2. 使用 Welch's ANOVA
3. 数据转换
4. 使用非参数检验

### 3. 独立性检验

**目的**: 验证观测值之间是否独立

**何时需要**: 所有统计检验前

**常见违反独立性的情况**:
- 时间序列数据（自相关）
- 重复测量（同一对象多次测量）
- 聚类数据（同一组内的观测）

**处理方法**:
- 时间序列：使用时间序列分析方法
- 重复测量：使用配对检验或混合效应模型
- 聚类数据：使用多层模型或聚类标准误

### 4. 异常值检测

**目的**: 识别和处理极端值

**常用方法**:

#### IQR 方法
- **定义**: 异常值 = Q1 - 1.5×IQR 或 Q3 + 1.5×IQR 之外
- **使用场景**: 最常用，简单直观

#### Z-score 方法
- **定义**: |Z| > 3 为异常值
- **使用场景**: 数据近似正态分布

#### Grubbs 检验
- **适用**: 检测单个异常值
- **使用场景**: 正态分布数据

**处理异常值**:
1. 检查是否为数据错误
2. 报告异常值的存在
3. 进行敏感性分析（有/无异常值）
4. 使用鲁棒统计方法

## 预先检验决策树

```
开始
  ↓
样本量 < 30？
  ↓ 是
  检查正态性（Shapiro-Wilk）
    ↓ 不满足
    使用非参数检验
  ↓ 否
  检查正态性（K-S 或 Q-Q 图）
    ↓ 满足
    两组比较？
      ↓ 是
      检查方差齐性（Levene）
        ↓ 满足
        独立样本 t-test
        ↓ 不满足
        Welch's t-test
      ↓ 否
      多组比较？
        ↓ 是
        检查方差齐性（Levene）
          ↓ 满足
          ANOVA
          ↓ 不满足
          Welch's ANOVA
```

## 预先检验报告模板

**论文中应报告**:

"在进行参数检验前，我们使用 Shapiro-Wilk 检验验证了数据的正态性（方法 A: W = 0.96, p = 0.23; 方法 B: W = 0.95, p = 0.18），使用 Levene 检验验证了方差齐性（F = 1.23, p = 0.31）。所有检验均满足参数检验的假设条件。"

**如果不满足假设**:

"Shapiro-Wilk 检验显示数据不满足正态性假设（方法 A: W = 0.87, p = 0.01），因此我们使用非参数的 Mann-Whitney U 检验进行比较。"

## 假设检验（参数检验）

### 1. t-test（两组对比）

**用途**: 比较两个方法的性能差异

**假设条件**:
- 数据服从正态分布
- 方差齐性（独立样本 t-test）
- 观测值独立

#### 独立样本 t-test (Independent Samples t-test)

**使用场景**: 比较两个独立组的均值
- 例：方法 A vs 方法 B 在不同数据集上的性能

**假设**:
- H₀: μ₁ = μ₂（两组均值相等）
- H₁: μ₁ ≠ μ₂（两组均值不等）

**报告格式**: "方法 A (85.3% ± 2.1%) 显著优于方法 B (82.1% ± 1.8%), t(18) = 3.45, p = 0.003"

**何时使用**: ✅ 两个独立组，满足正态性和方差齐性

#### 配对样本 t-test (Paired Samples t-test)

**使用场景**: 比较同一组对象在两种条件下的表现
- 例：同一数据集上，方法 A vs 方法 B 的性能

**假设**:
- H₀: μd = 0（差值的均值为0）
- H₁: μd ≠ 0（差值的均值不为0）

**报告格式**: "在10个数据集上，方法 A 显著优于方法 B, t(9) = 4.23, p = 0.002"

**何时使用**: ✅ 配对数据，同一对象的前后对比

#### Welch's t-test

**使用场景**: 两组方差不相等时
- 例：方差齐性检验不通过（Levene's test p < 0.05）

**优点**: 不假设方差相等，更鲁棒

**报告格式**: "方法 A 显著优于方法 B, Welch's t(16.3) = 3.21, p = 0.005"

**何时使用**: ✅ 方差齐性检验失败时的替代方案

### 2. ANOVA（多组对比）

**用途**: 同时比较三个或更多方法

**假设条件**:
- 数据服从正态分布
- 方差齐性
- 观测值独立

#### 单因素 ANOVA (One-Way ANOVA)

**使用场景**: 比较多个独立组的均值
- 例：方法 A vs B vs C vs D 的性能对比

**假设**:
- H₀: μ₁ = μ₂ = μ₃ = ... = μk（所有组均值相等）
- H₁: 至少有一组均值不同

**报告格式**: "不同方法之间存在显著差异, F(3, 36) = 8.45, p < 0.001"

**何时使用**: ✅ 三个或更多独立组

**重要**: ANOVA 只告诉你"至少有一组不同"，需要事后检验找出具体哪些组不同。

#### 重复测量 ANOVA (Repeated Measures ANOVA)

**使用场景**: 同一组对象在多个条件下的表现
- 例：同一数据集上，多个方法的性能对比

**假设**:
- H₀: 所有条件下的均值相等
- H₁: 至少有一个条件的均值不同

**报告格式**: "不同方法之间存在显著差异, F(3, 27) = 12.34, p < 0.001"

**何时使用**: ✅ 配对数据，多个条件的对比

#### 双因素 ANOVA (Two-Way ANOVA)

**使用场景**: 研究两个因素的影响及其交互作用
- 例：方法类型（因素1）× 数据集大小（因素2）对性能的影响

**报告格式**:
- "方法类型主效应显著, F(2, 54) = 15.23, p < 0.001"
- "数据集大小主效应显著, F(2, 54) = 8.91, p < 0.001"
- "交互作用不显著, F(4, 54) = 1.23, p = 0.31"

**何时使用**: ✅ 研究多个因素及其交互作用

#### Welch's ANOVA

**使用场景**: 方差不齐时的 ANOVA 替代方案

**报告格式**: "不同方法之间存在显著差异, Welch's F(3, 18.5) = 7.89, p = 0.002"

**何时使用**: ✅ 方差齐性检验失败时

### 3. 事后检验 (Post-hoc Tests)

**目的**: ANOVA 显著后，找出具体哪些组不同

**常用方法**:

#### Tukey HSD (Honestly Significant Difference)

**使用场景**: ANOVA 后的标准事后检验
- **优点**: 控制家族错误率
- **适用**: 各组样本量相等或接近
- **报告**: "Tukey HSD 检验显示，方法 A 显著优于方法 B (p = 0.003) 和方法 C (p = 0.012)"

**何时使用**: ✅ 默认选择，最常用

#### Bonferroni 校正

**使用场景**: 保守的事后检验
- **优点**: 简单，控制家族错误率
- **缺点**: 过于保守
- **报告**: "Bonferroni 校正后，方法 A 显著优于方法 B (p = 0.002)"

**何时使用**: ✅ 需要严格控制 Type I 错误时

#### Scheffé 检验

**使用场景**: 最保守的事后检验
- **优点**: 适用于所有对比（包括复杂对比）
- **缺点**: 功效最低
- **报告**: "Scheffé 检验显示，方法 A 显著优于方法 B (p = 0.015)"

**何时使用**: ✅ 需要进行复杂对比时

#### Dunnett 检验

**使用场景**: 多个实验组与一个对照组比较
- **优点**: 专门设计用于与对照组比较
- **报告**: "Dunnett 检验显示，方法 A、B、C 均显著优于基线方法 (p < 0.01)"

**何时使用**: ✅ 有明确的对照组（基线方法）时

## 假设检验（非参数检验）

**何时使用非参数检验**:
- 数据不满足正态分布假设
- 样本量很小（n < 30）
- 数据为序数或等级数据
- 存在明显的异常值

### 4. Wilcoxon 检验（配对数据）

**用途**: 配对数据的非参数检验，t-test 的非参数替代

**使用场景**: 同一数据集上，两个方法的性能对比
- 例：10个数据集上，方法 A vs 方法 B

**假设**:
- H₀: 两组的中位数相等
- H₁: 两组的中位数不等

**报告格式**: "Wilcoxon 符号秩检验显示，方法 A 显著优于方法 B, Z = 2.81, p = 0.005"

**何时使用**: ✅ 配对数据，不满足正态性假设

### 5. Mann-Whitney U 检验（独立数据）

**用途**: 独立样本的非参数检验，独立样本 t-test 的非参数替代

**使用场景**: 两个独立组的性能对比
- 例：方法 A 在数据集1上 vs 方法 B 在数据集2上

**假设**:
- H₀: 两组的分布相同
- H₁: 两组的分布不同

**报告格式**: "Mann-Whitney U 检验显示，方法 A 显著优于方法 B, U = 45, p = 0.012"

**何时使用**: ✅ 独立样本，不满足正态性假设

**别名**: Wilcoxon 秩和检验

### 6. Kruskal-Wallis 检验（多组对比）

**用途**: 多组独立样本的非参数检验，ANOVA 的非参数替代

**使用场景**: 三个或更多方法的性能对比
- 例：方法 A vs B vs C vs D

**假设**:
- H₀: 所有组的分布相同
- H₁: 至少有一组的分布不同

**报告格式**: "Kruskal-Wallis 检验显示，不同方法之间存在显著差异, H(3) = 15.23, p = 0.002"

**何时使用**: ✅ 多组独立样本，不满足正态性假设

**事后检验**: Dunn 检验（带 Bonferroni 校正）

### 7. Friedman 检验（重复测量）

**用途**: 配对数据的多组非参数检验，重复测量 ANOVA 的非参数替代

**使用场景**: 同一数据集上，多个方法的性能对比
- 例：10个数据集上，方法 A vs B vs C vs D

**假设**:
- H₀: 所有条件下的分布相同
- H₁: 至少有一个条件的分布不同

**报告格式**: "Friedman 检验显示，不同方法之间存在显著差异, χ²(3) = 18.45, p < 0.001"

**何时使用**: ✅ 配对数据，多组对比，不满足正态性假设

**事后检验**: Nemenyi 检验或 Wilcoxon 符号秩检验（带 Bonferroni 校正）

### 8. Sign 检验

**用途**: 最简单的配对数据非参数检验

**使用场景**: 只关心方向（哪个更好），不关心差异大小
- 例：方法 A 在多少个数据集上优于方法 B

**假设**:
- H₀: 正负差异的数量相等
- H₁: 正负差异的数量不等

**报告格式**: "Sign 检验显示，方法 A 在 10 个数据集中的 8 个上优于方法 B, p = 0.055"

**何时使用**: ✅ 只关心胜负，不关心差异大小

**优点**: 最鲁棒，对异常值不敏感
**缺点**: 功效最低

## 统计检验选择流程图

```
数据类型？
  ↓
配对数据？
  ↓ 是
  两组对比？
    ↓ 是
    正态性检验
      ↓ 满足
      配对 t-test
      ↓ 不满足
      Wilcoxon 符号秩检验
    ↓ 否（多组）
    正态性检验
      ↓ 满足
      重复测量 ANOVA
      ↓ 不满足
      Friedman 检验
  ↓ 否（独立数据）
  两组对比？
    ↓ 是
    正态性检验
      ↓ 满足
      方差齐性检验
        ↓ 满足
        独立 t-test
        ↓ 不满足
        Welch's t-test
      ↓ 不满足
      Mann-Whitney U 检验
    ↓ 否（多组）
    正态性检验
      ↓ 满足
      方差齐性检验
        ↓ 满足
        ANOVA + 事后检验
        ↓ 不满足
        Welch's ANOVA + Games-Howell
      ↓ 不满足
      Kruskal-Wallis + Dunn 检验
```

## 多重比较校正

**问题**: 多次检验增加 Type I 错误（假阳性）概率

**公式**: P(至少一次错误) = 1 - (1-α)^k，其中 k 为检验次数

**常用方法**:

| 方法 | 公式 | 保守程度 | 使用场景 |
|------|------|----------|----------|
| Bonferroni | α' = α/k | 最保守 | 少量检验 |
| Holm-Bonferroni | 逐步校正 | 较保守 | 中等数量检验 |
| FDR (Benjamini-Hochberg) | 控制错误发现率 | 较宽松 | 大量检验，探索性分析 |

## 效应量

**定义**: 衡量差异的实际大小，独立于样本量

**常用指标**:

| 效应量 | 适用场景 | 解释 |
|--------|----------|------|
| Cohen's d | t-test | \|d\| < 0.2 小，0.2-0.5 中，≥0.8 大 |
| η² (Eta squared) | ANOVA | 0.01 小，0.06 中，0.14 大 |
| r (相关系数) | 非参数检验 | 0.1 小，0.3 中，0.5 大 |

**报告**: 必须同时报告 p-value 和效应量

## 实验设计要点

**重复次数**: 最少 3-5 次，推荐 5-10 次，高方差任务 10+ 次

**随机种子**: 报告所有使用的随机种子，确保可重现

**交叉验证**: k-fold (k=5 或 10) 用于评估泛化性能

## 常见错误

1. **Cherry-picking**: 只报告最好结果 → 报告所有实验
2. **p-hacking**: 尝试多种分析找显著结果 → 预先确定方法
3. **混淆 SD 和 SE**: 不说明使用哪个 → 明确标注
4. **忽略多重比较**: 多次检验不校正 → 使用 Bonferroni/FDR
5. **只报告 p-value**: 缺少效应量 → 同时报告两者

## 报告检查清单

- [ ] 报告均值和标准差/标准误（明确标注）
- [ ] 报告实验重复次数
- [ ] 执行预先检验（正态性、方差齐性）
- [ ] 选择适当的统计检验
- [ ] 报告完整统计信息（检验统计量、自由度、p-value）
- [ ] 报告效应量
- [ ] 多重比较进行校正
- [ ] 说明随机种子设置

## 参考资源

- [Nature Statistics Checklist](https://www.nature.com/documents/nr-reporting-summary-flat.pdf)
- [ASA Statement on P-Values](https://www.amstat.org/asa/files/pdfs/p-valuestatement.pdf)
- [Reporting Statistics in Psychology](https://apastyle.apa.org/instructional-aids/numbers-statistics-guide.pdf)

## 总结

统计分析的核心原则：

1. **预先检验** - 验证假设条件
2. **完整报告** - 均值、标准差/标准误、样本量
3. **适当检验** - 根据数据特征选择方法
4. **多重校正** - 多次比较时校正 α
5. **效应量** - 不只报告 p-value
6. **可重现** - 提供足够细节

遵循这些原则可以确保实验结果的统计严谨性和可信度。