5.6 KiB
5.6 KiB
研究问题制定
将研究兴趣转化为具体、可执行的研究问题的系统化方法。
1. SMART 原则
好的研究问题应该满足 SMART 原则：
1.1 Specific (具体的)
不好的问题：
- "如何提高模型性能？"（太宽泛）
好的问题：
- "如何通过改进注意力机制来提高 Transformer 在长文本理解任务上的性能？"
关键要素：
- 明确的研究对象（Transformer）
- 具体的改进方向（注意力机制）
- 明确的任务场景（长文本理解）
- 清晰的目标（提高性能）
1.2 Measurable (可衡量的)
研究问题应该有明确的评估标准：
示例：
- "提高性能" → "在 SQuAD 数据集上提高 F1 分数"
- "改善可解释性" → "提高人类评估的 faithfulness 分数"
评估维度：
- 定量指标：准确率、F1、BLEU、困惑度
- 定性指标：人类评估、案例分析
- 效率指标：训练时间、推理速度、内存占用
1.3 Achievable (可实现的)
考虑资源和能力限制：
资源评估：
- 计算资源：GPU 数量和类型
- 数据资源：数据集的可获得性和质量
- 时间资源：研究周期（3个月、6个月、1年）
- 人力资源：团队规模和专业技能
可行性检查：
- 是否有类似工作作为基础？
- 所需技术是否已经成熟？
- 数据集是否公开可用？
- 计算成本是否在预算内？
1.4 Relevant (相关的)
研究问题应该对学术界或工业界有价值：
学术价值：
- 填补研究空白
- 挑战现有假设
- 提供新的理论视角
- 推动方法论进步
实际价值：
- 解决实际应用问题
- 提高系统性能
- 降低成本或资源消耗
- 改善用户体验
1.5 Time-bound (有时限的)
设定合理的研究时间框架：
短期目标（1-3个月）：
- 文献调研和问题定义
- 初步实验和概念验证
中期目标（3-6个月）：
- 方法开发和优化
- 全面实验和分析
长期目标（6-12个月）：
- 论文撰写和投稿
- 代码开源和社区推广
2. 研究问题类型
2.1 探索性问题 (Exploratory)
特点：探索未知领域，发现新现象
示例：
- "Transformer 的注意力机制在处理长文本时表现出什么模式？"
- "大语言模型在推理任务中使用了哪些内部表示？"
适用场景：
- 新兴研究领域
- 缺乏理论基础的现象
- 需要深入理解的复杂系统
2.2 验证性问题 (Confirmatory)
特点：验证假设或理论
示例：
- "增加模型深度是否能提高长文本理解性能？"
- "预训练是否对低资源语言任务有帮助？"
适用场景：
- 有明确假设需要验证
- 挑战现有理论或观点
- 复现和扩展已有工作
2.3 应用性问题 (Applied)
特点：解决实际应用问题
示例：
- "如何在保持性能的同时将模型大小减少50%？"
- "如何使对话系统更好地理解用户意图？"
适用场景：
- 有明确的应用需求
- 需要在约束条件下优化
- 工业界合作项目
3. 研究问题评估标准
3.1 重要性 (Significance)
评估维度：
- 学术影响：是否推动领域发展？
- 实际价值：是否解决重要问题？
- 受众规模：有多少人关心这个问题？
评分标准（1-5分）：
- 5分：突破性问题，影响整个领域
- 4分：重要问题，多个研究组关注
- 3分：有价值问题，部分研究者关注
- 2分：边缘问题，少数人关注
- 1分：琐碎问题，几乎无人关注
3.2 新颖性 (Novelty)
评估维度：
- 问题新颖性：是否是新问题？
- 方法新颖性：是否用新方法？
- 视角新颖性：是否有新视角？
评分标准（1-5分）：
- 5分：全新问题或突破性方法
- 4分：新问题或显著改进的方法
- 3分：新视角或方法组合
- 2分：增量改进
- 1分：重复已有工作
3.3 可行性 (Feasibility)
评估维度：
- 技术可行性：现有技术能否实现？
- 资源可行性：资源是否充足？
- 时间可行性：时间是否合理？
评分标准（1-5分）：
- 5分：完全可行，资源充足
- 4分：基本可行，资源足够
- 3分：有挑战，需要努力
- 2分：困难较大，需要突破
- 1分：几乎不可行
3.4 综合评估
决策矩阵：
| 重要性 | 新颖性 | 可行性 | 建议 |
|---|---|---|---|
| 高 | 高 | 高 | 优先执行 |
| 高 | 高 | 中 | 值得尝试 |
| 高 | 中 | 高 | 稳妥选择 |
| 中 | 高 | 高 | 可以考虑 |
| 低 | * | * | 重新考虑 |
4. 支持与证伪检查
每个研究问题都必须说明什么结果会支持它，什么结果会削弱或推翻它。
4.1 必填字段
Question:
Hypothesis:
Current evidence:
Missing evidence:
What would support it:
What would falsify it:
Minimal next action:
Decision: explore | read more | run experiment | stop
4.2 决策含义
explore：问题可能有价值，但还缺少基本文献或问题边界。read more：需要先补关键相关工作、baseline、dataset 或 metric。run experiment：问题、假设、支持证据和最小实验已经足够明确。stop：重要性、新颖性、可行性或证据边界不足，不建议继续投入。
4.3 写作要求
- 不要只写“值得研究”；必须说明为什么值得研究。
- 不要只写“需要更多实验”；必须说明最小下一步实验是什么。
- 不要只写“有文献支持”；必须列出当前证据和缺失证据。
- 不要把探索性问题写成已经验证的结论。