2.9 KiB
2.9 KiB
Results Analysis Usage
本技能用于生成 strict analysis bundle,不是写论文 Results 草稿。
默认产物
analysis-output/
├── analysis-report.md
├── stats-appendix.md
├── figure-catalog.md
└── figures/
典型调用路径
/analyze-results (Command)
↓
results-analysis (Skill)
↓
results-report (Skill, optional follow-up)
适用场景
- 多模型对比,需要严谨统计
- 多 seed / 多 subject / 多 fold 结果汇总
- 需要真实科研图,而不是只给 figure specs
- 需要为后续
results-report提供可信分析底座
推荐工作流
1. 准备输入
至少整理出以下之一:
- seed-level
csv/json - 每个实验的日志或目录
- baseline 与 ablation 的对应结果
- 训练曲线 / evaluation 曲线 / confusion 或 breakdown 数据
2. 运行 /analyze-results
/analyze-results path/to/results full
3. 期望输出
analysis-report.md
- 本轮分析回答的问题
- 关键发现
- 哪些比较成立 / 不成立
- 主要 caveats
- 哪些发现值得进一步写成完整实验报告
stats-appendix.md
mean ± std95% CI- significance tests
- effect sizes
- multiple-comparison correction
- assumptions / fallback tests
- blockers
figure-catalog.md
- 每张图的文件名
- 图用途
- 数据来源
- caption 必须包含的信息
- 图后 interpretation checklist
figures/
- 真实科研图,优先 PDF/PNG 等可复用格式
最低质量要求
统计
- 不能只报 best score
- 不能只报 p-value
- 不能混淆 std 和 sem
- 有多组比较时要说明 correction
- 假设不满足时必须切换或说明 non-parametric test
图表
- 有数据就要画真实图
- 每个主图都要有误差条或不确定性信息(如适用)
- 图必须有明确用途,不能只是“好看”
- 图后必须说明看到了什么、意味着什么
解释
- 先写 observation,再写 interpretation,最后写 implication
- 若无法支持 causal/mechanistic claim,必须保守表述
与 results-report 的关系
results-analysis:负责严格统计、图表、证据核查results-report:负责完整实验总结报告、叙事、复盘与决策
推荐顺序:
experiment artifacts
↓
results-analysis
↓
strict analysis bundle
↓
results-report
边界情况
输入不完整
若缺少 seed-level 数据、日志或可比 baseline:
- 明确列出缺失项
- 降级分析强度
- 不生成超出证据边界的结论
无法出图
如果数据结构不支持直接画图:
- 先说明原因
- 指出还需要哪些字段
- 不要拿“visualization specs”替代真实图作为完成态
参考阅读
references/statistical-reporting.mdreferences/figure-interpretation.mdreferences/analysis-depth.mdreferences/common-pitfalls.md