lacerate551
|
2c84cb8a5f
|
feat(server-release): 从 main 同步切片层级结构修复与解析增强
- parsers/mineru_parser.py: MinerU V2 解析增强 + 切片层级结构修复
- parsers/heading_rules.py: 标题识别规则引擎增强
- knowledge/manager.py: 跨页表格合并与切片后处理优化
切片数从旧版 819 降至 437（与本地 VLM 解析的 448 接近）
|
2026-06-20 22:00:57 +08:00 |
|
lacerate551
|
8d60616124
|
fix(server-release): 修复 MinerU 本地解析两处语法错误
1. 移除 cmd 数组中多余的 "--" 参数，导致 -p/--path 无法识别
2. finally 块中 "清理临时目录" 缺少 # 注释符，触发 NameError
|
2026-06-20 21:33:13 +08:00 |
|
lacerate551
|
fda1b2f049
|
feat: 从 main 分支迁移解析器与检索优化（不影响 API 接口）
- 新增 heading_rules.py 标题规则引擎，替换硬编码正则链
- 重写 mineru_parser.py：v2 格式兼容、表单自动检测
- manager.py: 跨页表格合并规则收紧（防误合并）+ LLM token 上限提升
- engine.py: embedding 缓存 + 同 section 表格邻居扩展 + prompt 改进
- router.py: 路由分类 token 上限提升至 512
|
2026-06-10 12:10:22 +08:00 |
|
lacerate551
|
90b915232a
|
fix(security): 代码审查安全加固 — 三批次修复（6H/13M/12L）
第一批（快速修复）：
- H6: main.py --debug 默认值 True→False，防止 Werkzeug RCE
- M2+M3: /search 增加 validate_query + top_k 范围限制(1-50)
- M4: context_count 范围限制(0-10) + 异常捕获
- L3: assert → raise RuntimeError（生产环境 API Key 检查）
- H1: SSE 错误事件移除 traceback 字段
第二批（安全加固）：
- H2+H3: 文档接口路径遍历 realpath 校验 + 文件类型/大小限制
- H4+H5: 批量上传文件大小检查
- M6: LIKE 查询通配符转义
- M1: 37 处 str(e) 异常信息统一脱敏（6 文件）
- M5: CORS 生产环境限制来源
- M7: SESSION_MANAGER None 保护（503）
- M11: subprocess 参数注入防护（白名单 + -- 分隔符）
第三批（架构改进）：
- M8+M9: 提取 JSON 解析共享工具（extract_json_object/list）
- M10: Prompt 注入检测防御（prompt_guard.py）
- M12: 解析器文件大小限制（Excel 50MB/TXT 20MB/PDF 100MB）
- M13: 全局单例竞态条件双重检查锁定（engine/bm25/intent_analyzer）
|
2026-06-05 15:26:32 +08:00 |
|
lacerate551
|
100d1a06eb
|
init: RAG 知识库服务初始提交
- 后端 API（Flask + Gunicorn）
- RAG 引擎（混合检索 + 云端 Reranker + 引用溯源）
- 文档解析（MinerU + 多格式支持）
- Docker 生产部署配置
- 排除前端项目、敏感配置、模型文件
|
2026-06-04 17:35:27 +08:00 |
|