4.4 KiB
4.4 KiB
论文质量评审标准
评审维度与权重
| 维度 | 权重 | 说明 |
|---|---|---|
| 创新性 | 30% | 论文的创新程度和贡献的新颖性 |
| 方法完整性 | 25% | 方法的描述完整性和可复现性 |
| 实验充分性 | 25% | 实验设计的全面性和结果的可信度 |
| 写作质量 | 10% | 论文表达的清晰度和学术规范性 |
| 相关性与影响力 | 10% | 与领域的相关性和潜在影响力 |
详细评分标准
1. 创新性 (30%)
| 分数 | 标准 |
|---|---|
| 5分 - 突破性贡献 | 提出全新的范式或方法,对领域有重大影响 |
| 4分 - 显著创新 | 在现有方法上有显著改进,提出新的见解 |
| 3分 - 方法创新 | 提出了新的方法或框架,有一定的创新性 |
| 2分 - 改进型 | 对现有方法有改进,但创新有限 |
| 1分 - 增量改进 | 仅有微小的改进或组合现有方法 |
评估要点:
- 是否提出了新的问题或视角?
- 方法是否有实质性创新?
- 是否突破了现有方法的局限?
2. 方法完整性 (25%)
| 分数 | 标准 |
|---|---|
| 5分 - 完整且严谨 | 方法描述完整,数学推导严谨,易于复现 |
| 4分 - 非常完整 | 方法描述详细,大部分细节可复现 |
| 3分 - 可复现 | 核心方法清晰,可基本复现 |
| 2分 - 缺乏细节 | 关键细节缺失,复现困难 |
| 1分 - 表述不清 | 方法描述不清楚,无法判断有效性 |
评估要点:
- 方法描述是否清晰?
- 是否提供了足够的细节?
- 是否有代码仓库?
- 数学推导是否严谨?
3. 实验充分性 (25%)
| 分数 | 标准 |
|---|---|
| 5分 - 全面深入 | 多数据集验证,充分消融实验,详细分析 |
| 4分 - 非常充分 | 多个数据集,合理消融实验 |
| 3分 - 合理验证 | 主干实验完整,结果可信 |
| 2分 - 验证不足 | 实验较少,缺乏对比 |
| 1分 - 实验不足 | 仅在简单场景验证,结果不可信 |
评估要点:
- 是否在标准数据集上验证?
- 是否有充分的对比实验?
- 是否有消融实验?
- 统计显著性如何?
4. 写作质量 (10%)
| 分数 | 标准 |
|---|---|
| 5分 - 优秀 | 表达清晰,逻辑严密,学术规范 |
| 4分 - 良好 | 表达清楚,逻辑基本完整 |
| 3分 - 清晰 - 表达基本清晰,可理解 | |
| 2分 - 一般 | 表述有模糊之处 |
| 1分 - 表述不清 | 表述混乱,难以理解 |
5. 相关性与影响力 (10%)
| 分数 | 标准 |
|---|---|
| 5分 - 广泛影响 | 解决重要问题,影响多个领域 |
| 4分 - 领域重要 | 解决领域内重要问题 |
| 3分 - 相关有意义 - 研究有意义,有一定影响 | |
| 2分 - 小众问题 | 针对小众问题 |
| 1分 - 影响有限 - 影响非常有限 |
自动评分辅助指标
在人工评审前,可使用以下指标辅助初筛:
- 摘要质量:摘要是否包含实验结果和具体数据
- 数据集:是否在知名数据集上验证(如 TUH EEG, BCIC IV 等)
- 代码可用性:是否提供 GitHub 链接
- 作者机构:第一作者/机构的学术声誉(可选)
- 引用数:arXiv 上的早期引用数(可选)
综合评分计算
总分 = 创新性×0.30 + 方法完整性×0.25 + 实验充分性×0.25 + 写作质量×0.10 + 相关性与影响力×0.10
评分示例:
- 创新性:4分
- 方法完整性:3分
- 实验充分性:4分
- 写作质量:3分
- 相关性与影响力:4分
总分 = 4×0.30 + 3×0.25 + 4×0.25 + 3×0.10 + 4×0.10 = 1.2 + 0.75 + 1.0 + 0.3 + 0.4 = 3.65
评审流程
- 初筛:根据标题和摘要排除明显不相关的论文
- Top 10 候选池:每个领域先固定保留 Top 10
- 全文阅读:对 Top 10 进行深度阅读/细读摘要与方法实验部分
- 维度打分:按照5个维度逐一打分
- 计算总分:加权计算综合得分
- Top 3 shortlist:按总分排序,选出 Top 3
- Top 1 final:在 Top 3 中结合创新性、实验可信度和领域影响力选出 Top 1
固定收敛规则(每个领域)
- 必须遵循:Top 10 -> Top 3 -> Top 1
- 不允许从原始检索结果直接跳到最终 Top 1
- 输出必须可审计,至少包含:
- Top 10 候选列表
- Top 3 评分表(五维分数 + 加权总分)
- Top 1 选择理由