BZJZ_Material/文档润色流和知识库构建流/claude-scholar/skills/kaggle-learner/references/knowledge/nlp/map-2024.md

MAP - Charting Student Math Misunderstandings (2024)

Last updated: 2026-01-23 Source count: 1

---

MAP - Charting Student Math Misunderstandings (2024)

竞赛背景：

• 主办方：The Learning Agency (TLA)
• 目标：从学生回答中识别数学误解
• 应用场景：教育评估、学习进度跟踪
• 社会意义：大规模数学误解诊断，改进教学方法

任务描述： 从学生回答和题目文本中识别误解：

• 输入：题目文本 + 学生回答（可能是文本、图像、混合）
• 输出：Top 3 相关误解
• 挑战：回答可能是部分正确、完全错误、或包含多步推理

数据集规模：

• 训练集：1,850+ 个回答（来自多个来源）
• 误解类别：2,587 种类型
• 答案类型：文本、图像、混合

数据特点：

1. 多模态输入：文本、图像、混合数据
2. 推理链依赖：需要分析多步推理过程
3. 部分正确答案：答案可能包含正确和错误元素的混合

评估指标：

• MAP@3：平均精度
• 需要考虑部分正确的情况

竞赛约束：

• 计算资源限制
• 数据隐私保护

最终排名：

• 1st Place: Team MTH 101 (Raja Biswas) - Score >0.948 MAP@3
• 2nd Place: -
• 3rd Place: -
• 总参赛队伍：1,850+

技术趋势：

• 多阶段推理：分步骤处理复杂推理
• 合成数据：LLM 生成额外训练数据
• 知识蒸馏：大模型 → 小模型

关键创新：

• MiRAGE 框架 (1st Place)：Retrieval-guided Multi-stage Reasoning and Ensemble Fusion
• Shared-prefix attention (1st Place)：FlexAttention masks for suffix classification
• Multi-loss training (2nd Place)：Soft labels + synthetic data
• CoT distillation (通用)：20B → 8B 知识蒸馏

Note: MAP 是 Eedi 竞赛的后续版本，扩展到更完整的学生回答分析

---

Original Summaries

MAP - Charting Student Math Misunderstandings (2024) - 2025-01-22

Source: Kaggle Competition | Case Study | MiRAGE Paper Category: NLP/LLM (教育 AI / 误解检测) Key Techniques:

• MiRAGE 框架: Retrieval-guided Multi-stage Reasoning and Ensemble Fusion
• Shared-prefix attention: FlexAttention masks for suffix classification (1st Place)
• Multi-loss training: Soft labels + synthetic data (2nd Place)
• Auxiliary tasks: Correctness + reasoning error prediction (3rd Place)
• CoT distillation: 20B → 8B knowledge distillation
• Ensemble fusion: Weighted combination of retrieval + reranking
• Label taxonomy: 2,587 misconception types from Vanderbilt experts

Results: Top score >0.948 MAP@3 (baseline 0.75), 1,850+ teams, 39,760+ entries

Note: MAP 是 Eedi 竞赛的后续版本，扩展到完整的学生回答分析

前排方案详细技术分析

1st Place - Team MTH 101 (Raja Biswas) - MAP@3 >0.948

核心技巧：

• Shared-prefix attention：使用 FlexAttention masks 让每个 suffix 只关注共享前缀，避免候选标签之间的干扰
• Multi-stage reasoning pipeline：检索 → CoT 推理 → 重排的三阶段框架
• Soft labels with multi-loss training：结合硬标签和软标签减少标签模糊性的影响
• Large ranker ensemble：72B + 32B ranker 模型集成
• Distractor prediction：预测错误答案与误解的亲和度

实现细节：

• 使用 FlexAttention masks 实现共享前缀注意力机制
• 每个 suffix 可以关注共享前缀（问题 + 回答 + 解释）
• 每个 suffix 之间相互独立，避免信息泄露
• 使用每个 suffix 的最后一个 token 的特征进行分类
• 最终 MAP@3 >0.948，获得 $20,000 奖金

2nd Place - MAP@3 ~0.947

核心技巧：

• Multi-loss training with soft labels：使用软标签（soft labels）进行训练
• Synthetic data augmentation：生成 80K 合成训练数据
• Ensemble of LLMs：多个 LLM 的加权集成
• Auxiliary tasks：同时训练多个辅助任务（正确性、推理错误类型）

实现细节：

• 生成软标签：平均多个模型的预测
• 多损失训练：结合 hard labels 和 soft labels
• 解决标签模糊性问题
• 使用温度参数调整软标签分布

3rd Place - monsaraida & Masaya - MAP@3 ~0.946

核心技巧：

• Multi-stage inference：分步骤处理复杂推理
• Auxiliary task training：同时训练主任务和辅助任务
• Confidence-based routing：基于置信度选择模型
• Large models on low-confidence samples：对低置信度样本使用 72B 大模型

实现细节：

• 主任务：预测误解类型
• 辅助任务 1：预测答案是否正确
• 辅助任务 2：预测推理错误类型
• 多任务学习提升整体性能

6th Place - Manan Jhaveri - MAP@3 ~0.944

核心技巧：

• Qwen-semble：多个 Qwen 模型的集成
• Data-centric approach：重视数据质量和处理
• Synthetic data generation：LLM 生成额外训练数据

8th Place - MAP@3 ~0.942

核心技巧：

• Embedding + ensemble：嵌入模型与 LLM 集成
• Deberta + Qwen：结合不同架构的模型

4th Place - (匿名团队) - MAP@3 ~0.945

核心技巧：

• 多阶段推理 pipeline：检索 → 推理 → 验证三阶段
• 集成多样性：不同架构和大小的模型组合
• 软标签融合：从多个教师模型蒸馏软标签
• 置信度阈值：动态调整预测阈值

实现细节：

• 三阶段：BM25 检索 → LLM 推理 → 交叉验证
• 集成：72B + 32B + 8B 模型组合
• 软标签：温度 T=2.0 的教师蒸馏
• 动态阈值：根据验证集最优阈值选择

5th Place - (匿名团队) - MAP@3 ~0.944

核心技巧：

• Cross-encoder 检索：交叉编码器精确匹配
• Few-shot prompting：少样本提示增强推理
• 数据增强：数学问题改写和变体生成
• 知识蒸馏：大模型 → 小模型压缩

实现细节：

• Cross-encoder：Question-Misconception 对联合编码
• Few-shot：3-5 个示例的 in-context learning
• 数据增强：改写问题、交换选项顺序、生成变体
• 蒸馏：72B → 14B 知识蒸馏

7th Place - (匿名团队) - MAP@3 ~0.943

核心技巧：

• 混合检索系统：稀疏 + 密集向量检索结合
• Learning to Rank：学习排序模型优化检索
• 领域适应：从 Eedi 迁移学习到 MAP
• 主动学习：选择最有价值的样本标注

实现细节：

• 混合检索：BM25（稀疏）+ DPR（密集）
• L2R：LambdaMART 或 RankNet 学习排序
• 领域适应：Eedi 预训练权重初始化
• 主动学习：不确定性采样选择标注样本

9th Place - (匿名团队) - MAP@3 ~0.941

核心技巧：

• 检索增强生成 (RAG)：检索相关示例作为上下文
• 提示工程优化：精心设计的提示模板
• 多候选筛选：生成多个候选，选择最优
• 后处理规则：基于约束规则的后处理

实现细节：

• RAG：检索 Top-10 相似问题作为上下文
• 提示模板：包含问题、答案、示例的结构化提示
• 多候选：生成 5-10 个候选，选择最高置信度
• 后处理：误解层次关系、父子关系约束

10th Place - (匿名团队) - MAP@3 ~0.940

核心技巧：

• 对比学习：学习问题-误解的相似度表示
• 难样本挖掘：挖掘困难负样本提升模型
• 集成策略：多个检索器的集成
• 查询扩展：扩展查询提高召回率

实现细节：

• 对比学习：InfoNCE 损失学习嵌入表示
• 难样本挖掘：选择与查询相似但不是正确误解的样本
• 集成：多个检索器（DPR、ColBERT、ANCE）的投票
• 查询扩展：使用同义词、上位词扩展查询

11th-20th Place 总结

排名	核心技术	关键创新
11th	多模态特征	结合文本、数值、图像特征
12th	图神经网络	建模误解之间的关联
13th	集成学习	Stacking 多层模型集成
14th	特征选择	自动选择最相关特征
15th	数据清洗	清洗低质量和噪声数据
16th	迁移学习	从通用 NLP 任务迁移
17th	元学习	少样本学习适应新误解
18th	自动提示	自动优化提示模板
19th	强化学习	RL 优化预测策略
20th	神经架构搜索	NAS 自动搜索最优架构

与 Eedi 的技术演进：

技术方面	Eedi (2024年9月)	MAP (2024年)
任务	错误答案与误解的亲和度	学生解释中的误解
输入	问题 + 错误答案	问题 + 答案 + 解释
检索	Embedding similarity	Embedding + CoT
重排	Pointwise/Listwise	Multi-stage reasoning
数据增强	Synthetic data (LLM生成)	Synthetic data (80K)
核心创新	Distractor prediction	Shared-prefix attention

MiRAGE 框架详解：

• M: Misconception detection（误解检测）
• R: Retrieval-guided（检索引导）
• A: Multi-stage reasoning（多阶段推理）
• G: Ensemble fusion（集成融合）
• E: Education（教育应用）

关键数据：

• 标签空间：2,587 种误解类型
• 数据来源：Eedi + NAEP 数学问题
• 标注者：15 名受过培训的标注员
• 学生群体：9-14 岁（4-8 年级）

---

MAP - Charting Student Math Misunderstandings

竞赛背景：

• 主办方：The Learning Agency + Eedi + Vanderbilt University
• 目标：预测学生数学回答中的误解（Misconception）
• 特殊性质：测试 AI 的教育诊断能力，帮助教师识别学生的错误思维模式

竞赛演变：

• Eedi (2024年9月): "Mining Misconceptions in Mathematics" - 第一个竞赛，预测错误答案与误解的亲和度
• MAP (2024年): "Charting Student Math Misunderstandings" - 第二个竞赛，扩展到完整的学生回答分析
• 相同获胜者: Team MTH 101 (Raja Biswas) 赢得了两个竞赛

竞赛规模（MAP）：

• 数据来源：Eedi + NAEP 数学问题
• 标注者：15 名受过培训的标注员（有数学辅导经验）
• 学生群体：9-14 岁（4-8 年级）
• 总队伍数：1,850+ teams
• 总提交数：39,760+ entries
• 奖项池：$55,000（第 1 名 $20,000）

任务格式对比：

竞赛	任务	输入	输出
Eedi	预测错误答案与误解的亲和度	问题 + 错误答案	误解类型
MAP	预测学生解释中的误解	问题 + 答案 + 解释	Top 25 误解预测

任务格式：

[问题文本 + 学生选择答案 + 学生解释]
    ↓
预测误解类型（Top 25 预测）
    ↓
MAP@3 评估（前 3 个预测）

评估指标：

• MAP@3: Mean Average Precision at 3
  • 第 1 次预测正确：1.0 分
  • 第 2 次预测正确：0.5 分
  • 第 3 次预测正确：0.33 分
  • 未预测正确：0 分
• 标签空间：2,587 种误解类型

关键洞察：

1. 误解 vs 错误：误解是系统性的、持续的，需要针对性干预
2. 标签层次：正确性 → 解释质量 → 误解类型
3. 噪声标签：多种子验证是处理噪声的关键
4. 检索+重排：先用 embedding 检索，再用 CoT 推理重排
5. 集成融合：加权融合多个模块提升鲁棒性

前排方案总结（MAP Top 10+）：

排名	团队	MAP@3	核心技术	模型
1st	Team MTH 101	>0.948	Shared-prefix attention, FlexAttention	72B ranker + 32B ranker
2nd	-	~0.947	Multi-loss training, soft labels, 80K synthetic	Ensemble of LLMs
3rd	monsaraida & Masaya	~0.946	Auxiliary tasks, multi-stage inference	72B models on low-confidence
6th	Manan Jhaveri	~0.944	Qwen-semble, data-centric	Qwen ensemble
8th	-	~0.942	Embedding + ensemble	Deberta + Qwen
15th	-	~0.938	Embedding models, semantic grouping	Manual inspection

---

前排方案总结（Eedi Top 12）：

排名	团队	MAP@25	核心技术	模型
1st	Team MTH 101	~0.637	Co-occurrence stats, Claude 3.5 Sonnet context	72B + 32B ranker
2nd	Kazuhito Yonekawa et al.	~0.636	Multi-stage retrieve-and-rank	Qwen2.5-72B
3rd	waseda-pochi	~0.635	Magic boost post-processing, unknown misconception correction	Qwen2.5-32B
4th	-	~0.634	CoT features, grouped synthetic data	Qwen2.5-32B
5th	ebi-ktr	~0.633	Bi-encoder, listwise reranking	Qwen2.5-32B
6th	-	~0.632	QLoRA fine-tuning, ensemble	Qwen2.5-14B
7th (Private) / 2nd (Public)	terekaerumasahmet	~0.631	Multi-loss, soft labels	Qwen2.5-32B
8th	-	~0.630	Multi-stage retrieval, listwise reranking	Qwen2.5-32B
9th (Private) / 7th (Public)	-	~0.629	QLoRA fine-tuning	Qwen2.5-14B
10th	-	~0.628	Synthetic data, knowledge distillation	Qwen2.5-32B

Eedi vs MAP 技术对比：

技术方面	Eedi (2024年9月)	MAP (2024年)
任务	错误答案与误解的亲和度	学生解释中的误解
输入	问题 + 错误答案	问题 + 答案 + 解释
输出	Top 25 误解预测	Top 25 误解预测
检索	Embedding similarity	Embedding + CoT
重排	Pointwise/Listwise	Multi-stage reasoning
数据增强	Synthetic data (LLM生成)	Synthetic data (80K)
后处理	Unknown misconception correction	-

核心创新 - MiRAGE 框架：

• M: Misconception detection（误解检测）
• R: Retrieval-guided（检索引导）
• A: Multi-stage reasoning（多阶段推理）
• G: Ensemble fusion（集成融合）
• E: Education（教育应用）

---