Files
BZJZ_Material/文档润色流和知识库构建流/claude-scholar/skills/daily-paper-generator/references/quality-criteria.md
2026-06-11 03:33:14 +08:00

4.4 KiB
Raw Blame History

论文质量评审标准

评审维度与权重

维度 权重 说明
创新性 30% 论文的创新程度和贡献的新颖性
方法完整性 25% 方法的描述完整性和可复现性
实验充分性 25% 实验设计的全面性和结果的可信度
写作质量 10% 论文表达的清晰度和学术规范性
相关性与影响力 10% 与领域的相关性和潜在影响力

详细评分标准

1. 创新性 (30%)

分数 标准
5分 - 突破性贡献 提出全新的范式或方法,对领域有重大影响
4分 - 显著创新 在现有方法上有显著改进,提出新的见解
3分 - 方法创新 提出了新的方法或框架,有一定的创新性
2分 - 改进型 对现有方法有改进,但创新有限
1分 - 增量改进 仅有微小的改进或组合现有方法

评估要点:

  • 是否提出了新的问题或视角?
  • 方法是否有实质性创新?
  • 是否突破了现有方法的局限?

2. 方法完整性 (25%)

分数 标准
5分 - 完整且严谨 方法描述完整,数学推导严谨,易于复现
4分 - 非常完整 方法描述详细,大部分细节可复现
3分 - 可复现 核心方法清晰,可基本复现
2分 - 缺乏细节 关键细节缺失,复现困难
1分 - 表述不清 方法描述不清楚,无法判断有效性

评估要点:

  • 方法描述是否清晰?
  • 是否提供了足够的细节?
  • 是否有代码仓库?
  • 数学推导是否严谨?

3. 实验充分性 (25%)

分数 标准
5分 - 全面深入 多数据集验证,充分消融实验,详细分析
4分 - 非常充分 多个数据集,合理消融实验
3分 - 合理验证 主干实验完整,结果可信
2分 - 验证不足 实验较少,缺乏对比
1分 - 实验不足 仅在简单场景验证,结果不可信

评估要点:

  • 是否在标准数据集上验证?
  • 是否有充分的对比实验?
  • 是否有消融实验?
  • 统计显著性如何?

4. 写作质量 (10%)

分数 标准
5分 - 优秀 表达清晰,逻辑严密,学术规范
4分 - 良好 表达清楚,逻辑基本完整
3分 - 清晰 - 表达基本清晰,可理解
2分 - 一般 表述有模糊之处
1分 - 表述不清 表述混乱,难以理解

5. 相关性与影响力 (10%)

分数 标准
5分 - 广泛影响 解决重要问题,影响多个领域
4分 - 领域重要 解决领域内重要问题
3分 - 相关有意义 - 研究有意义,有一定影响
2分 - 小众问题 针对小众问题
1分 - 影响有限 - 影响非常有限

自动评分辅助指标

在人工评审前,可使用以下指标辅助初筛:

  • 摘要质量:摘要是否包含实验结果和具体数据
  • 数据集:是否在知名数据集上验证(如 TUH EEG, BCIC IV 等)
  • 代码可用性:是否提供 GitHub 链接
  • 作者机构:第一作者/机构的学术声誉(可选)
  • 引用数arXiv 上的早期引用数(可选)

综合评分计算

总分 = 创新性×0.30 + 方法完整性×0.25 + 实验充分性×0.25 + 写作质量×0.10 + 相关性与影响力×0.10

评分示例:

  • 创新性4分
  • 方法完整性3分
  • 实验充分性4分
  • 写作质量3分
  • 相关性与影响力4分

总分 = 4×0.30 + 3×0.25 + 4×0.25 + 3×0.10 + 4×0.10 = 1.2 + 0.75 + 1.0 + 0.3 + 0.4 = 3.65

评审流程

  1. 初筛:根据标题和摘要排除明显不相关的论文
  2. Top 10 候选池:每个领域先固定保留 Top 10
  3. 全文阅读:对 Top 10 进行深度阅读/细读摘要与方法实验部分
  4. 维度打分按照5个维度逐一打分
  5. 计算总分:加权计算综合得分
  6. Top 3 shortlist:按总分排序,选出 Top 3
  7. Top 1 final:在 Top 3 中结合创新性、实验可信度和领域影响力选出 Top 1

固定收敛规则(每个领域)

  • 必须遵循:Top 10 -> Top 3 -> Top 1
  • 不允许从原始检索结果直接跳到最终 Top 1
  • 输出必须可审计,至少包含:
    • Top 10 候选列表
    • Top 3 评分表(五维分数 + 加权总分)
    • Top 1 选择理由