backup materials and knowledge-base docs

文档润色流和知识库构建流/claude-scholar/skills/research-ideation/examples/example-literature-review.md

@@ -0,0 +1,120 @@
+# 文献综述示例：Transformer 模型可解释性研究
+
+## 研究主题
+
+本文献综述聚焦于 Transformer 模型的可解释性研究，特别是注意力机制的解释和理解。
+
+## 1. 引言
+
+### 1.1 研究背景
+
+Transformer 模型自 2017 年提出以来，已成为自然语言处理领域的主流架构。然而，其内部工作机制仍然不够透明，限制了模型的可信度和在关键应用中的部署。
+
+### 1.2 研究重要性
+
+**学术价值**：
+- 深入理解深度学习模型的工作原理
+- 为模型改进提供理论指导
+- 推动可解释 AI 领域发展
+
+**实际价值**：
+- 提高模型可信度
+- 辅助模型调试和优化
+- 满足监管和伦理要求
+
+### 1.3 综述范围
+
+本综述涵盖 2020-2024 年间发表的相关工作，重点关注：
+- 注意力机制的可视化和分析
+- 模型内部表示的探测
+- 可解释性评估方法
+- 应用案例研究
+
+## 2. 主要研究方向
+
+### 2.1 注意力可视化方法
+
+**代表性工作**：
+
+**Clark et al. (2019) - "What Does BERT Look At?"**
+- 会议：ACL 2019
+- 贡献：系统分析 BERT 的注意力模式
+- 发现：不同层的注意力关注不同语言现象
+- 引用次数：1200+
+
+**Vig (2019) - "A Multiscale Visualization of Attention"**
+- 会议：ACL 2019 Demo
+- 贡献：开发交互式注意力可视化工具
+- 工具：BertViz（开源）
+- 影响：广泛使用的可视化工具
+
+**主要发现**：
+- 早期层关注句法结构
+- 中间层关注语义关系
+- 后期层关注任务相关特征
+
+### 2.2 模型探测方法
+
+**代表性工作**：
+
+**Tenney et al. (2019) - "BERT Rediscovers the Classical NLP Pipeline"**
+- 会议：ACL 2019
+- 贡献：使用探测任务分析 BERT 的语言知识
+- 方法：Edge probing tasks
+- 发现：BERT 隐式学习了传统 NLP 流程
+
+**Rogers et al. (2020) - "A Primer on BERTology"**
+- 期刊：TACL 2020
+- 贡献：系统综述 BERT 的可解释性研究
+- 影响：成为该领域的重要参考文献
+- 引用次数：800+
+
+**主要发现**：
+- 模型学习了丰富的语言知识
+- 不同层编码不同层次的信息
+- 知识分布在多个层中
+
+## 3. 研究趋势与空白
+
+### 3.1 当前研究趋势
+
+**从静态分析到动态分析**：
+- 早期工作主要分析训练好的模型
+- 近期工作开始关注训练过程中的动态变化
+
+**从单一方法到综合方法**：
+- 结合多种可解释性技术
+- 跨层次、跨模态的分析
+
+**从理解到应用**：
+- 将可解释性用于模型改进
+- 辅助模型调试和优化
+
+### 3.2 研究空白
+
+**理论基础不足**：
+- 缺乏统一的可解释性理论框架
+- 注意力权重与模型行为的因果关系不明确
+
+**评估标准缺失**：
+- 缺乏标准化的评估方法
+- 人类评估成本高且主观性强
+
+**长文本处理**：
+- 现有方法主要针对短文本
+- 长文本的注意力模式更复杂
+
+## 4. 总结
+
+本综述系统梳理了 Transformer 模型可解释性研究的主要方向和代表性工作。主要发现包括：
+
+1. **注意力机制**：不同层关注不同语言现象，但注意力权重不能完全解释模型行为
+2. **内部表示**：模型隐式学习了丰富的语言知识，分布在多个层中
+3. **研究空白**：理论基础、评估标准、长文本处理等方面仍需深入研究
+
+**未来研究方向**：
+- 建立统一的可解释性理论框架
+- 开发标准化的评估方法
+- 探索长文本的可解释性
+- 将可解释性用于模型改进
+

文档润色流和知识库构建流/claude-scholar/skills/research-ideation/examples/example-research-proposal.md

@@ -0,0 +1,209 @@
+# 研究提案示例：基于稀疏注意力的长文本 Transformer
+
+## 研究主题
+
+开发一种新的稀疏注意力机制，使 Transformer 模型能够高效处理长文本（10k+ tokens），同时保持或提升性能。
+
+## 1. 研究问题
+
+### 1.1 核心问题
+
+**如何设计一种稀疏注意力机制，使 Transformer 能够在保持性能的同时，将计算复杂度从 O(n²) 降低到 O(n log n)？**
+
+### 1.2 子问题
+
+1. 哪些注意力连接对模型性能最重要？
+2. 如何自适应地选择重要的注意力连接？
+3. 稀疏化对不同任务的影响如何？
+4. 如何在训练和推理中高效实现稀疏注意力？
+
+## 2. 研究目标
+
+### 2.1 主要目标
+
+1. **方法创新**：提出新的自适应稀疏注意力机制
+2. **性能提升**：在长文本任务上达到或超越现有方法
+3. **效率提升**：将计算和内存成本降低 50% 以上
+4. **理论理解**：分析稀疏化对模型能力的影响
+
+### 2.2 预期贡献
+
+**学术贡献**：
+- 新的稀疏注意力机制设计
+- 长文本处理的理论分析
+- 开源实现和预训练模型
+
+**实际价值**：
+- 降低长文本处理成本
+- 使更长的上下文成为可能
+- 提高推理速度
+
+## 3. 研究方法
+
+### 3.1 核心思路
+
+**自适应稀疏注意力**：
+- 动态选择重要的注意力连接
+- 保留局部注意力（相邻 tokens）
+- 学习全局注意力模式
+- 任务自适应的稀疏化策略
+
+### 3.2 技术方案
+
+**阶段 1：稀疏模式设计**
+- 分析现有稀疏模式（Longformer, BigBird）
+- 设计新的自适应选择机制
+- 理论分析复杂度和表达能力
+
+**阶段 2：模型实现**
+- 实现高效的稀疏注意力算子
+- 集成到 Transformer 架构
+- 优化训练和推理效率
+
+**阶段 3：实验验证**
+- 在多个长文本任务上评估
+- 与现有方法对比
+- 消融实验分析
+
+## 4. 实验计划
+
+### 4.1 数据集
+
+| 任务 | 数据集 | 序列长度 | 评估指标 |
+|------|--------|---------|---------|
+| 文档分类 | Hyperpartisan | 4k-16k | F1 |
+| 问答 | NarrativeQA | 8k-32k | F1, EM |
+| 摘要 | arXiv | 4k-8k | ROUGE |
+
+### 4.2 基线方法
+
+- **Vanilla Transformer**：标准 Transformer（作为上界）
+- **Longformer**：固定稀疏模式
+- **BigBird**：随机+全局+局部
+- **Reformer**：LSH 注意力
+
+### 4.3 评估维度
+
+**性能**：
+- 任务准确率
+- 与基线对比
+
+**效率**：
+- 训练时间
+- 推理速度
+- 内存占用
+
+**可扩展性**：
+- 不同序列长度的表现
+- 参数量的影响
+
+## 5. 时间线规划
+
+### 5.1 研究阶段划分
+
+**Phase 1: 准备阶段**（第1-2个月）
+- 文献调研和综述
+- 问题定义和方法设计
+- 初步实验环境搭建
+- **里程碑**：研究提案完成
+
+**Phase 2: 探索阶段**（第3-4个月）
+- 稀疏模式设计和理论分析
+- 初步实现和概念验证
+- 小规模实验验证可行性
+- **里程碑**：概念验证完成
+
+**Phase 3: 开发阶段**（第5-7个月）
+- 完整模型实现
+- 优化训练和推理效率
+- 在多个数据集上进行实验
+- **里程碑**：完整实验结果
+
+**Phase 4: 完成阶段**（第8-9个月）
+- 消融实验和深入分析
+- 论文撰写和修改
+- 代码整理和开源准备
+- **里程碑**：论文投稿
+
+### 5.2 关键检查点
+
+**月度检查**：
+- 进度回顾和问题识别
+- 实验结果分析
+- 计划调整
+
+**季度评审**：
+- 里程碑评估
+- 风险评估和应对
+- 资源需求调整
+
+## 6. 资源需求
+
+### 6.1 计算资源
+
+**GPU 需求**：
+- 探索阶段：2-4 GPU（V100 或 A100）
+- 开发阶段：4-8 GPU
+- 完成阶段：8-16 GPU（大规模实验）
+
+**存储需求**：
+- 数据集：200 GB
+- 模型检查点：100 GB
+- 实验日志：50 GB
+- 总计：约 350 GB
+
+**预计计算时间**：
+- 模型训练：约 500 GPU 小时
+- 实验评估：约 200 GPU 小时
+- 总计：约 700 GPU 小时
+
+### 6.2 人力资源
+
+**研究负责人**（1人）：
+- 研究规划和指导
+- 论文撰写
+- 时间投入：50%
+
+**研究助理**（1-2人）：
+- 实验实现和运行
+- 数据分析
+- 时间投入：100%
+
+### 6.3 其他资源
+
+**数据集**：
+- Hyperpartisan（公开）
+- NarrativeQA（公开）
+- arXiv（公开）
+
+**软件工具**：
+- PyTorch
+- Transformers
+- Weights & Biases（实验跟踪）
+
+## 7. 总结
+
+本研究提案旨在开发一种新的自适应稀疏注意力机制，解决 Transformer 在长文本处理中的效率问题。
+
+**核心创新**：
+- 自适应选择重要的注意力连接
+- 将计算复杂度从 O(n²) 降低到 O(n log n)
+- 在保持性能的同时提高效率
+
+**预期成果**：
+- 在长文本任务上达到或超越现有方法
+- 将计算和内存成本降低 50% 以上
+- 开源实现和预训练模型
+
+**可行性**：
+- 基于成熟的 Transformer 架构
+- 有充足的计算资源支持
+- 9个月的研究周期合理
+- 团队具备相关技术背景
+
+**影响力**：
+- 学术贡献：新的稀疏注意力机制和理论分析
+- 实际价值：降低长文本处理成本，使更长的上下文成为可能
+
+本研究具有明确的目标、可行的方法和充足的资源支持，预期能够产生有价值的学术成果和实际应用。
+