jhzhang/rag
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
40 Commits 4 Branches 0 Tags
5ccfdaf9d104ec8073812429c2d3caec112b3a7b
Commit Graph

12 Commits

Author SHA1 Message Date
lacerate551
0f339a0998 fix: 缓存系统全面加固 — 版本失效 + 死代码清理 + 防御性改进 
基于缓存审查报告 + Claude Code 交叉审查的反馈：

P0+ 语义缓存版本失效:
- sync.py: 文档变更后清空语义缓存，防止返回过时的 images/sources
- document_routes.py: 删除文档时同步清理缓存
- kb_routes.py: 删除向量库时同步清理缓存

P1.5 cache_type 包含式校验:
- intent_analyzer.py: != "rag_answer" 改为 == "intent_analysis"

P2+ Rerank Cache 版本失效:
- cache.py: increment_kb_version 时同时清空 rerank_cache

P1+P6 死代码清理:
- agentic.py: 移除未使用的 SemanticCache 实例和相关导入
- agentic_base.py: 移除未使用的语义缓存配置导入
- cache.py: 移除 _compute_doc_hash 和未使用的 doc_ids 参数
- engine.py: 移除 set_query_result 调用中的 doc_ids 参数

P7 缓存质量门槛:
- config.py: CACHE_MIN_SCORE 从 0.0 改为 0.3
 2026-06-21 16:08:58 +08:00
lacerate551
258be54df7 sync(server-release): 从 main 同步逻辑改动（不含 API 格式变更） 
同步内容:
- knowledge/manager.py: VLM max_tokens 512→2048 + reasoning_content fallback
- services/feedback.py: FAQ max_tokens 200→512
- services/session.py: 消息排序增加 id DESC 次级排序
- knowledge/image_cleanup.py: 新增图片/VLM缓存孤儿文件清理模块
- knowledge/collection.py: 集合删除时清理孤儿文件 + list_collections 磁盘扫描策略
- knowledge/document.py: 文档删除时清理孤儿文件
- api/chat_routes.py: 新增 _rescue_bm25_divergence 函数（BM25-CE分歧救援）
- core/intent_analyzer.py: 使用 get_intent_client 专用客户端 + 移除短追问缓存跳过逻辑
- cleanup_orphans.py: 独立孤儿文件清理脚本
 2026-06-21 14:49:46 +08:00
lacerate551
184511f4ec fix(server-release): 从 main 同步表格图片修复 
纯逻辑同步，不涉及 API 格式变更：

1. chat_routes.py:
   - 新增 _replace_table_image_placeholders(): 将答案中 [图片]
     和 [N张图片] 占位符替换为 ![id](url) markdown 图片语法
   - _filter_images_by_answer: 补充 [图片]/![ 图片意图检测
   - import re 提升到模块级

2. manager.py:
   - 跨页表格 HTML 合并修复: BS 解析后追加 <tr> 行（原来直接
     拼接两个 <table> 导致第二表行被 html_table_to_markdown 丢弃）
   - 表头跳过逻辑改为对比第一行
   - 新增 text_level/bbox/table_type/table_nest_level/sub_type 元数据
 2026-06-21 00:54:19 +08:00
lacerate551
2c84cb8a5f feat(server-release): 从 main 同步切片层级结构修复与解析增强 
- parsers/mineru_parser.py: MinerU V2 解析增强 + 切片层级结构修复
- parsers/heading_rules.py: 标题识别规则引擎增强
- knowledge/manager.py: 跨页表格合并与切片后处理优化

切片数从旧版 819 降至 437（与本地 VLM 解析的 448 接近）
 2026-06-20 22:00:57 +08:00
lacerate551
8f75c51c59 feat(server-release): 从 main 同步子章节级图片过滤 + VLM/LLM 推理模型兼容 
- chat_routes: 子章节级图片过滤（section_path 传递、叶子节点匹配、发散检测）
- chat_routes: _FIGURE_ANSWER_KEYWORDS 移除单字"图""表"，正则图号兜底
- lazy_enhance: defer_chromadb 参数避免后台线程 SQLite 写锁竞争
- lazy_enhance: 缓存内容校验（>=5字）和空结果保护
- llm_utils: reasoning_content 兜底（剥离 <think> 标签）+ 流式 reasoning 支持
- intent_analyzer: SYSTEM_PROMPT 增加追问补全逻辑
- manager: VLM 描述/摘要 max_tokens 提升至 2048 + Windows fcntl 兼容

不改变端口、API 接口和响应数据字段。
 2026-06-20 20:27:01 +08:00
lacerate551
87f3fae1aa feat(server-release): 从 main 迁移检索增强（章节聚类提升 + BM25 追加修复） 
从 main 分支选择性提取检索质量增强代码，不含端口/API 配置变更：

- knowledge/base.py: BM25Index.add_documents 改为追加+去重模式，
  修复多文件上传后仅保留最后文件切片的覆盖 bug
- core/engine.py: 章节聚类提升（_section_cluster_boost）、词法匹配
  辅助种子资格（_chunk_lexical_score）、扩展参数优化
  （CONTEXT_EXPANSION_AFTER 5→8, MAX_EXPANDED_NEIGHBORS 4→8）
- api/chat_routes.py: 路由层词法匹配救援（_rescue_lexical_match）、
  章节聚类救援安全网（_rescue_section_cluster）

部署后需重建 BM25 索引：KnowledgeBaseManager().rebuild_bm25_index('public_kb')
 2026-06-17 17:49:36 +08:00
lacerate551
fda1b2f049 feat: 从 main 分支迁移解析器与检索优化（不影响 API 接口） 
- 新增 heading_rules.py 标题规则引擎，替换硬编码正则链
- 重写 mineru_parser.py：v2 格式兼容、表单自动检测
- manager.py: 跨页表格合并规则收紧（防误合并）+ LLM token 上限提升
- engine.py: embedding 缓存 + 同 section 表格邻居扩展 + prompt 改进
- router.py: 路由分类 token 上限提升至 512
 2026-06-10 12:10:22 +08:00
lacerate551
148559ee3c fix(knowledge): 全量修复多 worker 元数据竞态问题 
1. collection.py: create/delete/update/exists 方法开头加 _load_metadata()
2. list_collections: 去掉磁盘扫描自动补充和 stale 清理逻辑，
   改为以元数据为唯一真相源，异常集合只跳过不删不改
3. manager.py: _load/_save_metadata 加 fcntl 文件锁防并发写覆盖，
   Windows 兼容（fcntl try/import 包裹）
 2026-06-10 11:17:57 +08:00
lacerate551
431af0217a fix(knowledge): list_collections 每次从磁盘重载元数据，修复多 worker 返回数量不一致 
GUNICORN_WORKERS=2 时各 worker 进程的 self._metadata 独立，
一个 worker 清理失效条目后保存 kb_metadata.json，另一个 worker
内存仍是旧版本，导致 /collections 返回数量波动（3 或 5）。
在 list_collections() 开头调用 _load_metadata() 重新加载，
保证每次请求基于最新的磁盘状态。
 2026-06-09 13:29:49 +08:00
lacerate551
84a8be0ce8 fix(knowledge): list_collections 增加异常保护，防止 ChromaDB 数据丢失导致 /collections 500 
遍历 kb_metadata.json 时对每个集合的 get_collection/count 操作包裹
try/except，捕获 NotFoundError/InternalError 等异常后跳过并记录警告，
循环结束后自动清理失效的元数据条目。
 2026-06-09 11:43:34 +08:00
lacerate551
cb75b9b274 fix(boundary): 修复多库边界问题、版本管理及删除清理 
多库检索与存储修复:
- RRF 融合去重改用 (collection, chunk_id) 复合键，修复同名文件结果被吞
- DocStore 存储路径加 collection 前缀，修复跨库同名切片数据覆盖
- search_multiple 去重改用复合键
- chunk_id 解析改用 rsplit 兼容下划线文件名

上传与版本管理修复:
- 同名文件上传改为覆盖模式，自动清理旧切片
- 修复首次上传不创建版本记录
- 修复覆盖上传版本号回退到 v1
- sync ADDED 分支改用动态版本号生成
- _generate_version_id 改为基于全部版本递增
- 废止/恢复操作同步 SQLite 版本记录
- mark_document_as_superseded 改为仅更新 SQLite

删除清理修复:
- 删除文档时同步清理 SQLite 版本记录和变更日志
- 删除向量库时同步清理该库所有版本记录
- cleanup 改为清理 SQLite 记录而非 ChromaDB

测试:
- test_version_management.py: 27 条版本管理单元测试
- test_edge_cases.py: 28 条边界用例测试
- test_upload_dedup.py: 5 条上传去重测试
- e2e_risk_test.py: 27 条端到端风险测试

文档:
- 新增风险边界问题修复注意事项.md（面向后端的对接文档）
- 新增向量库边界风险分析.md
- 更新多篇现有文档
 2026-06-04 23:58:44 +08:00
lacerate551
100d1a06eb init: RAG 知识库服务初始提交 
- 后端 API（Flask + Gunicorn）
- RAG 引擎（混合检索 + 云端 Reranker + 引用溯源）
- 文档解析（MinerU + 多格式支持）
- Docker 生产部署配置
- 排除前端项目、敏感配置、模型文件
 2026-06-04 17:35:27 +08:00