lacerate551
|
ee5295cc97
|
fix(parser): PDF/DOCX 切片层级结构修复与 MinerU V2 解析增强
核心修复：
- _post_process_chunks: 用 _buffer_has_body 标志替代 buffer.text_level=0，
标题+正文合并后保留 text_level 不置零，修复层级信息丢失
- heading_rules numeric_level2: 正则从 ^\d+\.\d+[\.、\s] 改为
^\d+\.\d+(?!\.\d)，修复无空格标题如"2.1运行调度"无法匹配
- V2 title handler: heading_rules 优先（模式匹配可靠），VLM 仅兜底
（VLM 常给所有标题 level=1）
MinerU V2 解析增强：
- 两轮 TOC 过滤：多行目录块检测 + 孤立标题/单字符残留清理
- 封面 logo 过滤、重复标题去重
- chart VLM 描述和 Markdown 数据表提取
- ChromaDB metadata 新增 text_level/bbox/table_type/sub_type 字段
配置调整：
- CLUSTER_SECTION_PREFIX_LEVELS 1→2（两级 section 聚类更精确）
- MINERU_LOCAL_BACKEND 默认改为 pipeline
文档：
- RAG检索流程逻辑.md 更新 MinerUChunk 字段、ChromaDB metadata、
MinerU 解析策略等章节
- 新增 RAG引用跳转-优化计划.md、云端MinerU输出分析与优化方案.md
|
2026-06-19 23:56:13 +08:00 |
|
lacerate551
|
8c92657490
|
fix(bm25): 修复 BM25 索引覆盖 bug + 综合评测集 v2 + 检索增强
核心修复:
- knowledge/base.py: BM25Index.add_documents 从覆盖改为追加+去重，
修复只有最后上传文件的 chunks 保留在 BM25 中的严重 bug
(影响: 2.docx/3.docx/PDF 的 755 个 chunk 在 BM25 中完全缺失)
检索增强 (延续上次会话):
- core/engine.py: section cluster boost + lexical match exemption
- api/chat_routes.py: lexical/cluster rescue 层 + SSE 事件
- core/mmr.py: MMR 去重改进
评测体系:
- tests/eval_dataset_v2.json: 62 题综合评测集 (9 种题型×4 文档)
- scripts/eval_e2e.py: 推理模型 LLM 评分兼容 + 新数据集格式支持
- scripts/validate_eval_dataset.py: 数据集验证工具
其他:
- parsers/mineru_parser.py: 解析器改进
|
2026-06-17 17:31:43 +08:00 |
|
lacerate551
|
9c1593a5e4
|
feat(parser): 新增标题识别规则引擎
- 新增 parsers/heading_rules.py，支持可配置的标题层级检测规则
- 支持短中文文本标题识别的独立开关控制
🤖 Generated with [Qoder][https://qoder.com]
|
2026-06-08 15:43:58 +08:00 |
|
lacerate551
|
83884b383b
|
refactor(parser): 重构 MinerU 文档解析器
- 重写 MinerU 解析模块，改进文档解析流程和结构化输出
- 优化表格识别、标题层级提取和多格式文档处理
- 支持 v2 格式偏好（MINERU_PREFER_V2）
🤖 Generated with [Qoder][https://qoder.com]
|
2026-06-08 15:43:38 +08:00 |
|
lacerate551
|
90b915232a
|
fix(security): 代码审查安全加固 — 三批次修复（6H/13M/12L）
第一批（快速修复）：
- H6: main.py --debug 默认值 True→False，防止 Werkzeug RCE
- M2+M3: /search 增加 validate_query + top_k 范围限制(1-50)
- M4: context_count 范围限制(0-10) + 异常捕获
- L3: assert → raise RuntimeError（生产环境 API Key 检查）
- H1: SSE 错误事件移除 traceback 字段
第二批（安全加固）：
- H2+H3: 文档接口路径遍历 realpath 校验 + 文件类型/大小限制
- H4+H5: 批量上传文件大小检查
- M6: LIKE 查询通配符转义
- M1: 37 处 str(e) 异常信息统一脱敏（6 文件）
- M5: CORS 生产环境限制来源
- M7: SESSION_MANAGER None 保护（503）
- M11: subprocess 参数注入防护（白名单 + -- 分隔符）
第三批（架构改进）：
- M8+M9: 提取 JSON 解析共享工具（extract_json_object/list）
- M10: Prompt 注入检测防御（prompt_guard.py）
- M12: 解析器文件大小限制（Excel 50MB/TXT 20MB/PDF 100MB）
- M13: 全局单例竞态条件双重检查锁定（engine/bm25/intent_analyzer）
|
2026-06-05 15:26:32 +08:00 |
|
lacerate551
|
100d1a06eb
|
init: RAG 知识库服务初始提交
- 后端 API（Flask + Gunicorn）
- RAG 引擎（混合检索 + 云端 Reranker + 引用溯源）
- 文档解析（MinerU + 多格式支持）
- Docker 生产部署配置
- 排除前端项目、敏感配置、模型文件
|
2026-06-04 17:35:27 +08:00 |
|