rag/docs/出题系统测试报告.md

出题系统测试报告

测试日期: 2026-06-22 测试环境: mimo-v2.5（关闭推理模式）、2.docx（文明吸烟环境建设标准） 测试方式: curl 接口测试 + 代码审查

---

一、测试总览

#	测试项	接口	结果	耗时
1	参数出题	POST /exam/generate	✅ 成功	~87s (4题)
2	AI一键出题	POST /exam/generate-smart	⚠️ 成功但有上限失控	~244s (50题)
3	偏门题型(纯主观)	POST /exam/generate	✅ 成功	~87s (5题)
4	偏门题型(多选+填空)	POST /exam/generate	✅ 成功	~60s (6题)
5	跨调用去重	POST /exam/generate + exclude_stems	✅ 去重有效	~60s (5题)
6	批题(4题型混合)	POST /exam/grade	✅ 全部成功	~30s

---

二、测试详情

Test 1: 参数出题 (single_choice:2, fill_blank:1, true_false:1)

• 结果: 4题全部生成成功，题型匹配
• 问题:
  • ❌ 题目多样性不足：4题中3题考同一个知识点（"标准的解释机构"）
  • ❌ source_trace 数据缺失（chunk_id=?, page=?）

Test 2: AI一键出题 (generate-smart)

• AI分析: 检测到54个知识点，推荐50道题（20单选+15判断+10多选+5填空）
• 结果: 50题全部生成，12个不同章节，0题干重复
• 问题:
  • ❌ P0 上限失控: prompt 要求"不超过20"，但AI返回50，代码没有 enforce 上限校验
  • ⚠️ 50题意味着20-30次LLM调用，极易触发429限流

Test 3: 纯主观题 (subjective:5)

• 结果: 5题全部生成，覆盖不同章节，scoring_points 完整
• 耗时: 87秒（关闭推理模式后正常）

Test 4: 多选+填空 (multiple_choice:3, fill_blank:3)

• 结果: 6题全部生成
• 问题:
  • ❌ 填空题答案格式不一致: content.answer 是 [["消费水平较高"]] (list of list)，但没有 data.reference_answer 字段，只有 data.blank_count
  • ⚠️ 与 grader 期望的格式可能不匹配

Test 5: 跨调用去重 (exclude_stems)

• 结果: 3个排除题干全部未出现，去重有效 ✅

Test 6: 批题 (grade)

• 单选题答错: score=0, correct=false ✅
• 判断题答对: score=2, correct=true ✅
• 填空题部分对: score=4.0 (满分4), blank_scores=[4.0] ✅
• 主观题(低质量回答): score=2.0/10, 4个scoring_point逐项评分 ✅
• 总评: 得分率44.4%，评分合理

---

三、发现的问题（按严重度排序）

P0 - 严重问题

1. 🚨 AI一键出题上限失控 (generator.py:1053-1068)

位置: analyze_document_for_exam() 函数 现象: prompt 写了"所有数量之和不要超过 min(total_knowledge_points * 2, 20)"，但 LLM 返回50题，代码直接采纳 根因: 代码只做了"题型合法性"校验，没有对总数做上限 enforce

# 当前代码 (generator.py:1053-1059) - 只校验单题型合法性，无总数限制
valid_types = ['single_choice', 'multiple_choice', 'true_false', 'fill_blank', 'subjective']
question_types = {}
for q_type in valid_types:
    count = result.get('question_types', {}).get(q_type, 0)
    if isinstance(count, int) and count >= 0:
        question_types[q_type] = count  # 直接采纳，无上限

建议: 增加总数上限校验，超过 max_questions（建议20）时按比例缩减

total = sum(question_types.values())
max_questions = 20
if total > max_questions:
    ratio = max_questions / total
    question_types = {k: max(0, round(v * ratio)) for k, v in question_types.items()}

2. 🚨 LLM 调用无限流机制，429 风暴 (generator.py:290-303, 540-543)

位置: generate_questions_structured() 主循环 + _generate_with_retry() 重试 现象: 并发出题时大量429错误，重试退避太短(1s/2s/4s)，3次全败后放弃该知识点 根因:

• 主循环 for 逐知识点调用 LLM，无请求间隔（补题函数有 sleep(1)，主循环没有）
• 429 重试退避 2^attempt 秒 (1/2/4s) 对 API 限流不够
• 无全局限流器（令牌桶/漏桶） 建议:

1. 主循环每次 LLM 调用后加 time.sleep(1.5) 最小间隔
2. 429 退避改为指数+抖动: min(30, 2 ** attempt + random.uniform(0, 2))
3. 长期: 引入 tenacity 或自实现令牌桶限流器

3. 🚨 validate_questions_schema 只认 type 不认 question_type (generator.py:154)

位置: validate_questions_schema() 函数 现象: LLM 返回的题目可能用 question_type 字段，但校验只检查 q.get('type')，导致有效题目被丢弃 对比: _validate_question_types() (第448行) 做了兼容: q_type = q.get('question_type') or q.get('type')

# 当前代码 (generator.py:154) - 不兼容
if q.get('type') not in VALID_TYPES:
    continue  # question_type 字段的题目被丢弃！

# 应改为
q_type = q.get('question_type') or q.get('type')
if q_type not in VALID_TYPES:
    continue

P1 - 中等问题

4. ⚠️ 填空题答案格式不一致

现象: 出题返回 content.answer = [["答案1"], ["答案2"]] (list of list)，但无 data.reference_answer 影响: 前端/本地数据库可能期望 reference_answer 字段 建议: 统一在 data 中增加 reference_answer 字段，与 content.answer 保持一致

5. ⚠️ grader max_tokens 对推理模型不足 (grader.py:438)

位置: _grade_subjective() 方法 现象: max_tokens=_get_effective_max_tokens(1000, self.model)

• 推理模型关闭推理时: 1000 tokens 勉强够
• 推理模型开启推理时: 思考链消耗 800+ tokens，content 为空 当前状态: 关闭推理模式后本次测试通过，但开启推理模式会再次失败 建议: 基础 max_tokens 从 1000 提升至 2000

6. ⚠️ local_db._detect_question_type 使用旧格式 (local_db.py:378-383)

位置: _detect_question_type() 方法 现象: 检测 options 和 reference_answer 字段来判断题型，但新格式用 content.data.options 和 content.answer

# 当前代码 - 检查顶层 options
if 'options' in question and question['options']:
    return 'choice'
elif 'reference_answer' in question:
    return 'short_answer'

# 应改为检查 content 内部结构
content = question.get('content', {})
data = content.get('data', {})
if data.get('options'):
    return 'choice'
elif question.get('question_type') in ('fill_blank', 'subjective', ...):
    return question['question_type']

7. ⚠️ 题目多样性不足

现象: Test 1 中 4 题有 3 题考同一知识点（"标准的解释机构"） 根因: _assign_questions_to_kps() 可能将多个题型分配给同一知识点 建议: 增加"同一知识点最多出 N 道题"的限制（建议 N=2）

P2 - 低优先级

8. 💡 source_trace 数据偶尔缺失

现象: Test 1 中部分题目的 chunk_id 和 page 显示为 ? 可能原因: find_referenced_chunks 匹配失败时的 fallback 显示

9. 💡 多选题答案格式

现象: 多选题 answer 为 ['A', 'B'] 或 ['A', 'B', 'D'] (list)，前端需处理 建议: 在 API 文档中明确多选题 answer 格式为 list

10. 💡 补题机制未与已有题目交叉去重

现象: 补题时只检查本次生成的题干，不检查已有题目 建议: 补题函数接受 exclude_stems 参数

---

四、测试通过项 ✅

1. 基础出题功能: 5种题型均可正常生成
2. AI智能分析: 文档分析→题型推荐→出题流程完整
3. 补题机制: 知识点出题失败后自动补题
4. 跨调用去重: exclude_stems 功能正常，排除的题干不再出现
5. 批题功能: 客观题精确匹配，填空题部分给分，主观题LLM逐项评分
6. source_trace: 大部分题目有完整的溯源信息（chunk_id, section, snippet）
7. JSON解析: mimo-v2.5 返回的 JSON 格式（含 markdown 包裹）可正常解析
8. 题目格式: 单选题 options 为 list of dict [{key, content}]，格式规范

---

五、建议修复优先级

优先级	问题	修复难度	影响范围
P0	AI出题上限失控	简单	smart 出题
P0	LLM 429 限流	中等	全部出题
P0	validate_questions_schema type 字段	简单	全部出题
P1	填空题答案格式统一	简单	填空题+批题
P1	grader max_tokens	简单	主观题批题
P1	local_db 旧格式	中等	本地存储
P1	题目多样性控制	中等	出题质量