jhzhang/rag - rag - Gitea: Work with You.

jhzhang/rag

Fork 0

Commit Graph

Author	SHA1	Message	Date
lacerate551	ee5295cc97	fix(parser): PDF/DOCX 切片层级结构修复与 MinerU V2 解析增强核心修复： - _post_process_chunks: 用 _buffer_has_body 标志替代 buffer.text_level=0，标题+正文合并后保留 text_level 不置零，修复层级信息丢失 - heading_rules numeric_level2: 正则从 ^\d+\.\d+[\.、\s] 改为 ^\d+\.\d+(?!\.\d)，修复无空格标题如"2.1运行调度"无法匹配 - V2 title handler: heading_rules 优先（模式匹配可靠），VLM 仅兜底（VLM 常给所有标题 level=1） MinerU V2 解析增强： - 两轮 TOC 过滤：多行目录块检测 + 孤立标题/单字符残留清理 - 封面 logo 过滤、重复标题去重 - chart VLM 描述和 Markdown 数据表提取 - ChromaDB metadata 新增 text_level/bbox/table_type/sub_type 字段配置调整： - CLUSTER_SECTION_PREFIX_LEVELS 1→2（两级 section 聚类更精确） - MINERU_LOCAL_BACKEND 默认改为 pipeline 文档： - RAG检索流程逻辑.md 更新 MinerUChunk 字段、ChromaDB metadata、 MinerU 解析策略等章节 - 新增 RAG引用跳转-优化计划.md、云端MinerU输出分析与优化方案.md	2026-06-19 23:56:13 +08:00
lacerate551	4afa30a946	docs(rag): 编写完整的 RAG 检索流程逻辑文档覆盖从 MinerU 解析入库到 LLM 回答的全链路数据流： - 文档解析与入库流程（MinerU → Chunk → ChromaDB + BM25） - ChromaDB 存储字段详解（每个 metadata 字段的作用） - BM25 索引两种实现的差异分析 - distances/scores 语义在各管线阶段的变化 - 检索管线完整数据流图 - 三重救援机制详解（BM25 分歧/词法匹配/章节聚类） - 配置项完整列表（含死代码标注） - 单/多知识库路径说明	2026-06-17 19:58:31 +08:00

Author

SHA1

Message

Date

lacerate551

ee5295cc97

fix(parser): PDF/DOCX 切片层级结构修复与 MinerU V2 解析增强

核心修复：
- _post_process_chunks: 用 _buffer_has_body 标志替代 buffer.text_level=0，
  标题+正文合并后保留 text_level 不置零，修复层级信息丢失
- heading_rules numeric_level2: 正则从 ^\d+\.\d+[\.、\s] 改为
  ^\d+\.\d+(?!\.\d)，修复无空格标题如"2.1运行调度"无法匹配
- V2 title handler: heading_rules 优先（模式匹配可靠），VLM 仅兜底
  （VLM 常给所有标题 level=1）

MinerU V2 解析增强：
- 两轮 TOC 过滤：多行目录块检测 + 孤立标题/单字符残留清理
- 封面 logo 过滤、重复标题去重
- chart VLM 描述和 Markdown 数据表提取
- ChromaDB metadata 新增 text_level/bbox/table_type/sub_type 字段

配置调整：
- CLUSTER_SECTION_PREFIX_LEVELS 1→2（两级 section 聚类更精确）
- MINERU_LOCAL_BACKEND 默认改为 pipeline

文档：
- RAG检索流程逻辑.md 更新 MinerUChunk 字段、ChromaDB metadata、
  MinerU 解析策略等章节
- 新增 RAG引用跳转-优化计划.md、云端MinerU输出分析与优化方案.md

2026-06-19 23:56:13 +08:00

lacerate551

4afa30a946

docs(rag): 编写完整的 RAG 检索流程逻辑文档

覆盖从 MinerU 解析入库到 LLM 回答的全链路数据流：
- 文档解析与入库流程（MinerU → Chunk → ChromaDB + BM25）
- ChromaDB 存储字段详解（每个 metadata 字段的作用）
- BM25 索引两种实现的差异分析
- distances/scores 语义在各管线阶段的变化
- 检索管线完整数据流图
- 三重救援机制详解（BM25 分歧/词法匹配/章节聚类）
- 配置项完整列表（含死代码标注）
- 单/多知识库路径说明

2026-06-17 19:58:31 +08:00

2 Commits