jhzhang/rag
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
19 Commits 4 Branches 0 Tags
db887d2215f77da78d16369b6044a9685a1bba77
Commit Graph

19 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
lacerate551
db887d2215 chore: 配置集中化、LLM 参数调整与 gitignore 更新 
- config.example: 新增 MINERU_PREFER_V2、标题规则引擎、表单二次校正等配置项
- document_routes: DEV_MODE 判断统一收归 config.py
- llm_utils: quick_yes_no max_tokens 10→128，避免截断过短回答
- knowledge/router: 路由 LLM 调用 max_tokens 100→512
- feedback: 反馈分析 LLM 调用 max_tokens 200→512
- .gitignore: 新增 scripts/ 和 plans/ 目录忽略规则

🤖 Generated with [Qoder][https://qoder.com]
 2026-06-08 15:45:12 +08:00
lacerate551
3c262b8d35 fix(auth): 登录速率限制与用户会话隔离增强 
- auth_routes: 新增内存级登录速率限制（5min/10次），防止暴力破解
- auth_routes: 统一 DEV_MODE 判断收归 config.py 集中管理
- auth_routes: update_user 增加用户存在性校验
- gateway: require_role 装饰器恢复实际角色校验（原为占位实现）
- session_routes: get_user_sessions 统一传入 limit=20 参数
- session: get_history SQL 增加 id DESC 排序，修复同秒消息顺序错乱

🤖 Generated with [Qoder][https://qoder.com]
 2026-06-08 15:44:37 +08:00
lacerate551
8adb550931 feat(rag): 数据驱动的检索优化与表格/图片处理增强 
- 移除硬编码关键词列表，改为数据驱动的图片意图检测
- 新增 _section_similarity() 层级章节相似度函数，替代正则匹配
- 新增 _rescue_table_chunks() 表格救援机制，基于 _in_budget_context 标记
- 修复 _build_context_with_budget 表格组超预算不 break 的问题
- 新增 _filter_images_by_answer() 后置图片过滤
- 表格切片 rerank 分数保护策略（同 section 表格不被误删）
- 跨页表格合并逻辑改进（通用标题检测 + 页码不可用降级策略）
- 意图分析增强追问补全 + 缓存类型隔离
- 语义缓存 key 加入 collections 防止跨上下文误命中
- 使用 retrieval_query 替代原始 message 进行检索
- engine.py: CloudReranker 模型更新 + 移除 top_n + table 邻居扩展
- LLM prompt 增加表格处理规则和章节路径提示

🤖 Generated with [Qoder][https://qoder.com]
 2026-06-08 15:44:22 +08:00
lacerate551
9c1593a5e4 feat(parser): 新增标题识别规则引擎 
- 新增 parsers/heading_rules.py，支持可配置的标题层级检测规则
- 支持短中文文本标题识别的独立开关控制

🤖 Generated with [Qoder][https://qoder.com]
 2026-06-08 15:43:58 +08:00
lacerate551
83884b383b refactor(parser): 重构 MinerU 文档解析器 
- 重写 MinerU 解析模块，改进文档解析流程和结构化输出
- 优化表格识别、标题层级提取和多格式文档处理
- 支持 v2 格式偏好（MINERU_PREFER_V2）

🤖 Generated with [Qoder][https://qoder.com]
 2026-06-08 15:43:38 +08:00
lacerate551
183a57e7f1 refactor(api): 统一响应格式迁移 + 异步任务系统 + 状态码体系完善 
- 将全部路由文件（12个）的 jsonify 响应迁移至 success_response/error_response 统一格式
- 修复 sync_routes.py error_response 参数错误（P0）
- 新增异步任务系统：task_registry + task_routes
- 新增状态码：TASK_NOT_FOUND(4014)、TASK_CONFLICT(4015)、REINDEX_ERROR(5040)
- 修正 task_routes/exam_pkg 中语义不匹配的状态码
- 更新 curl 测试手册、后端对接规范文档
- 添加缓存性能报告和 Redis 迁移计划
 2026-06-05 22:56:00 +08:00
lacerate551
54a6815ad4 docs: 重写 RAG 系统指南并重命名（移除 AgenticRAG 内容） 
- 全面重写文档，反映统一编排路径和四层缓存架构
- 添加 Query Cache 修复说明和语义缓存集成文档
- 重命名 Agentic_RAG完整指南.md → RAG系统完整指南.md
- 同步更新开发与系统模块说明.md 中的引用链接
 2026-06-05 21:34:56 +08:00
lacerate551
505f79860e perf(cache): 修复缓存失效 Bug + 集成语义缓存 + 删除 AgenticRAG 死代码 
- fix: Query Cache GET/SET Key 不匹配导致命中率始终为 0%
- fix: CACHE_MIN_SCORE 阈值 0.3 对 ChromaDB cosine distance 过于严格
- feat: 在 /rag 端点集成语义缓存（命中时跳过检索+生成，92x 加速）
- refactor: 删除 AgenticRAG 死代码路径（10 个 agentic_*.py，约 1950 行）
- cleanup: 移除 engine.py 死方法、路由死函数、初始化死代码
 2026-06-05 21:20:53 +08:00
lacerate551
6deba8fae2 docs: 添加代码审查报告 2026-06-05 2026-06-05 15:26:38 +08:00
lacerate551
90b915232a fix(security): 代码审查安全加固 — 三批次修复（6H/13M/12L） 
第一批（快速修复）：
- H6: main.py --debug 默认值 True→False，防止 Werkzeug RCE
- M2+M3: /search 增加 validate_query + top_k 范围限制(1-50)
- M4: context_count 范围限制(0-10) + 异常捕获
- L3: assert → raise RuntimeError（生产环境 API Key 检查）
- H1: SSE 错误事件移除 traceback 字段

第二批（安全加固）：
- H2+H3: 文档接口路径遍历 realpath 校验 + 文件类型/大小限制
- H4+H5: 批量上传文件大小检查
- M6: LIKE 查询通配符转义
- M1: 37 处 str(e) 异常信息统一脱敏（6 文件）
- M5: CORS 生产环境限制来源
- M7: SESSION_MANAGER None 保护（503）
- M11: subprocess 参数注入防护（白名单 + -- 分隔符）

第三批（架构改进）：
- M8+M9: 提取 JSON 解析共享工具（extract_json_object/list）
- M10: Prompt 注入检测防御（prompt_guard.py）
- M12: 解析器文件大小限制（Excel 50MB/TXT 20MB/PDF 100MB）
- M13: 全局单例竞态条件双重检查锁定（engine/bm25/intent_analyzer）
 2026-06-05 15:26:32 +08:00
lacerate551
a7206377cc fix(exam): 批阅端点增加 answers 类型校验，非数组返回 400 而非 500 2026-06-05 14:17:01 +08:00
lacerate551
6f863ddfd7 docs(exam): 出题批卷接口变更说明及文档同步 
- 新增《出题批阅接口变更说明（2026-06-05）》面向后端的迁移指南
- 同步更新 curl测试手册 和 后端对接规范 中的出题批卷章节
 2026-06-05 14:06:17 +08:00
lacerate551
3f1980ba78 feat(exam): 出题批卷 API 增强 — 格式统一、校验、跨调用去重 
- grader: 多策略 JSON 提取 + 3 次重试 + prompt 优化，修复 LLM 输出不稳定问题
- grader: question_content → content 统一字段名，与出题接口一致
- api: 新增入参校验（题型枚举、difficulty、总题数上限 20、grade question_type）
- api/generator/manager: 新增 exclude_stems 参数，支持跨调用去重
 2026-06-05 14:06:11 +08:00
lacerate551
b6631c626b fix(exam): 修复出题批卷 API 契约一致性问题 
P0:
- 修复 V2 降级路径响应格式，fallback 输出经过 enrich + dedup + balance
- 补充主观题 format example，要求 LLM 生成 scoring_points 评分标准

P1:
- 补充多选题、判断题 format example，明确 answer 为列表格式
- 统一批卷响应格式，所有题型增加 grading_status 字段
- 出题数量不足时返回 requested_types/actual_types/warnings
- 修复 _call_llm 未配置时抛异常而非静默返回 0 分

P2:
- API 层增加 question_types 和 difficulty 入参校验
- 修复 generate_questions_from_content 方法名和参数类型 bug
 2026-06-05 12:06:49 +08:00
lacerate551
42434781f7 chore(deploy): docker-compose 添加源码挂载和 env_file 配置 
- 挂载源码目录到容器，支持 git pull + restart 热更新代码
- 添加 env_file 引用项目根目录 .env，解决环境变量缺失问题
- 添加 data/ 目录挂载（SQLite 数据库）
 2026-06-05 11:31:44 +08:00
lacerate551
d67a8ff50b docs(fix): 修正引用跳转文档错误及修复 fix_image_paths 脚本 
- 修正 preview 接口路径（去掉多余的 /api 前缀）
- 修正响应示例中 chunk id 格式（文件名_序号，非 UUID）
- 补充 preview 响应中 status、version 字段
- 明确前端引用匹配方式为 chunk_id 查找而非数组下标
- fix_image_paths.py 改为遍历知识库子目录，避免生成空 chroma.sqlite3
 2026-06-05 11:24:44 +08:00
lacerate551
cb75b9b274 fix(boundary): 修复多库边界问题、版本管理及删除清理 
多库检索与存储修复:
- RRF 融合去重改用 (collection, chunk_id) 复合键，修复同名文件结果被吞
- DocStore 存储路径加 collection 前缀，修复跨库同名切片数据覆盖
- search_multiple 去重改用复合键
- chunk_id 解析改用 rsplit 兼容下划线文件名

上传与版本管理修复:
- 同名文件上传改为覆盖模式，自动清理旧切片
- 修复首次上传不创建版本记录
- 修复覆盖上传版本号回退到 v1
- sync ADDED 分支改用动态版本号生成
- _generate_version_id 改为基于全部版本递增
- 废止/恢复操作同步 SQLite 版本记录
- mark_document_as_superseded 改为仅更新 SQLite

删除清理修复:
- 删除文档时同步清理 SQLite 版本记录和变更日志
- 删除向量库时同步清理该库所有版本记录
- cleanup 改为清理 SQLite 记录而非 ChromaDB

测试:
- test_version_management.py: 27 条版本管理单元测试
- test_edge_cases.py: 28 条边界用例测试
- test_upload_dedup.py: 5 条上传去重测试
- e2e_risk_test.py: 27 条端到端风险测试

文档:
- 新增风险边界问题修复注意事项.md（面向后端的对接文档）
- 新增向量库边界风险分析.md
- 更新多篇现有文档
 2026-06-04 23:58:44 +08:00
lacerate551
a1a0814633 docs(readme): 更新 README 至 v7.0.0，反映云端 Reranker、Docker 部署、性能优化等当前状态 2026-06-04 17:45:56 +08:00
lacerate551
100d1a06eb init: RAG 知识库服务初始提交 
- 后端 API（Flask + Gunicorn）
- RAG 引擎（混合检索 + 云端 Reranker + 引用溯源）
- 文档解析（MinerU + 多格式支持）
- Docker 生产部署配置
- 排除前端项目、敏感配置、模型文件
 2026-06-04 17:35:27 +08:00