lacerate551
|
b923e63bcd
|
fix(knowledge): list_collections 增加异常保护与元数据重载
1. 遍历集合时 try/except 捕获 ChromaDB 异常（NotFoundError/InternalError），
跳过失效集合并自动清理元数据，防止 /collections 500
2. 每次调用从磁盘重载 kb_metadata.json，确保多 worker 进程间状态一致，
修复 GUNICORN_WORKERS>1 时返回数量波动问题
|
2026-06-09 13:32:51 +08:00 |
|
lacerate551
|
db887d2215
|
chore: 配置集中化、LLM 参数调整与 gitignore 更新
- config.example: 新增 MINERU_PREFER_V2、标题规则引擎、表单二次校正等配置项
- document_routes: DEV_MODE 判断统一收归 config.py
- llm_utils: quick_yes_no max_tokens 10→128，避免截断过短回答
- knowledge/router: 路由 LLM 调用 max_tokens 100→512
- feedback: 反馈分析 LLM 调用 max_tokens 200→512
- .gitignore: 新增 scripts/ 和 plans/ 目录忽略规则
🤖 Generated with [Qoder][https://qoder.com]
|
2026-06-08 15:45:12 +08:00 |
|
lacerate551
|
8adb550931
|
feat(rag): 数据驱动的检索优化与表格/图片处理增强
- 移除硬编码关键词列表，改为数据驱动的图片意图检测
- 新增 _section_similarity() 层级章节相似度函数，替代正则匹配
- 新增 _rescue_table_chunks() 表格救援机制，基于 _in_budget_context 标记
- 修复 _build_context_with_budget 表格组超预算不 break 的问题
- 新增 _filter_images_by_answer() 后置图片过滤
- 表格切片 rerank 分数保护策略（同 section 表格不被误删）
- 跨页表格合并逻辑改进（通用标题检测 + 页码不可用降级策略）
- 意图分析增强追问补全 + 缓存类型隔离
- 语义缓存 key 加入 collections 防止跨上下文误命中
- 使用 retrieval_query 替代原始 message 进行检索
- engine.py: CloudReranker 模型更新 + 移除 top_n + table 邻居扩展
- LLM prompt 增加表格处理规则和章节路径提示
🤖 Generated with [Qoder][https://qoder.com]
|
2026-06-08 15:44:22 +08:00 |
|
lacerate551
|
cb75b9b274
|
fix(boundary): 修复多库边界问题、版本管理及删除清理
多库检索与存储修复:
- RRF 融合去重改用 (collection, chunk_id) 复合键，修复同名文件结果被吞
- DocStore 存储路径加 collection 前缀，修复跨库同名切片数据覆盖
- search_multiple 去重改用复合键
- chunk_id 解析改用 rsplit 兼容下划线文件名
上传与版本管理修复:
- 同名文件上传改为覆盖模式，自动清理旧切片
- 修复首次上传不创建版本记录
- 修复覆盖上传版本号回退到 v1
- sync ADDED 分支改用动态版本号生成
- _generate_version_id 改为基于全部版本递增
- 废止/恢复操作同步 SQLite 版本记录
- mark_document_as_superseded 改为仅更新 SQLite
删除清理修复:
- 删除文档时同步清理 SQLite 版本记录和变更日志
- 删除向量库时同步清理该库所有版本记录
- cleanup 改为清理 SQLite 记录而非 ChromaDB
测试:
- test_version_management.py: 27 条版本管理单元测试
- test_edge_cases.py: 28 条边界用例测试
- test_upload_dedup.py: 5 条上传去重测试
- e2e_risk_test.py: 27 条端到端风险测试
文档:
- 新增风险边界问题修复注意事项.md（面向后端的对接文档）
- 新增向量库边界风险分析.md
- 更新多篇现有文档
|
2026-06-04 23:58:44 +08:00 |
|
lacerate551
|
100d1a06eb
|
init: RAG 知识库服务初始提交
- 后端 API（Flask + Gunicorn）
- RAG 引擎（混合检索 + 云端 Reranker + 引用溯源）
- 文档解析（MinerU + 多格式支持）
- Docker 生产部署配置
- 排除前端项目、敏感配置、模型文件
|
2026-06-04 17:35:27 +08:00 |
|