init: RAG 知识库服务初始提交
- 后端 API（Flask + Gunicorn） - RAG 引擎（混合检索 + 云端 Reranker + 引用溯源） - 文档解析（MinerU + 多格式支持） - Docker 生产部署配置 - 排除前端项目、敏感配置、模型文件
This commit is contained in:
lacerate551
173
data/eval/eval_dataset.json
Normal file
173
data/eval/eval_dataset.json
Normal file
@@ -0,0 +1,173 @@
|
||||
{
|
||||
"version": "1.0",
|
||||
"description": "基于三份知识库文档的RAG端到端评测数据集",
|
||||
"documents": [
|
||||
{"id": "1.docx", "title": "货源投放工作规范（2023版）"},
|
||||
{"id": "2.docx", "title": "文明吸烟环境建设标准（试行）"},
|
||||
{"id": "3.docx", "title": "零售终端建设标准"}
|
||||
],
|
||||
"questions": [
|
||||
{
|
||||
"id": "q01",
|
||||
"query": "货源投放的市场状态有哪几种类型？各自的评分标准是什么？",
|
||||
"query_type": "factual",
|
||||
"difficulty": "easy",
|
||||
"source_doc": "1.docx",
|
||||
"expected_keywords": ["俏", "紧", "平", "松", "软", "95", "85", "70", "50"],
|
||||
"reference_answer": "货源投放的市场状态分为五种类型：俏、紧、平、松、软。评分标准为：综合评分95分以上为「俏」，85-95分为「紧」，70-85分为「平」，50-70分为「松」，50分以下为「软」。评价体系包含一级指标和二级指标，其中一级指标权重不低于70%，包括零售价格指数、流通价格指数、终端动销率、终端存销比、社会存销比、客户断货率等；二级指标包括订货面、订足面、订单满足率、货源利用率、重购率等。"
|
||||
},
|
||||
{
|
||||
"id": "q02",
|
||||
"query": "货源投放工作的总体要求包括哪些原则？",
|
||||
"query_type": "factual",
|
||||
"difficulty": "easy",
|
||||
"source_doc": "1.docx",
|
||||
"expected_keywords": ["市场导向", "总量控制", "增速合理", "公平公正", "状态优先", "区域协同"],
|
||||
"reference_answer": "货源投放工作的总体要求包括六大原则：一是市场导向，即坚持以市场需求为导向组织货源投放；二是总量控制，即合理控制货源投放总量；三是增速合理，即保持合理的货源投放增速；四是公平公正，即确保货源投放过程公平、公正、公开；五是状态优先，即根据市场状态优先调整投放策略；六是区域协同，即加强区域间的货源投放协调配合。"
|
||||
},
|
||||
{
|
||||
"id": "q03",
|
||||
"query": "货源投放中有哪六种投放办法？请分别说明各自的基本含义。",
|
||||
"query_type": "factual",
|
||||
"difficulty": "medium",
|
||||
"source_doc": "1.docx",
|
||||
"expected_keywords": ["按档位投放", "档位+标签", "价位段自选", "选点投放", "批零网配", "事件用烟"],
|
||||
"reference_answer": "货源投放的六种办法为：一是按档位投放，即根据客户分档结果，按不同档位设定不同的供货标准进行投放；二是按「档位+标签」扩展投放，即在档位基础上叠加客户标签进行更精细化的投放；三是按价位段自选投放，即按照卷烟价位段划分，允许客户在一定范围内自选订购规格；四是选点投放，即选择特定零售客户进行定点投放；五是批零网配，即通过批发与零售网络配送的方式增加供货量，增加量上限为同档级初始定量的50%；六是事件用烟投放，即针对特定事件或特殊群体进行的专项投放。"
|
||||
},
|
||||
{
|
||||
"id": "q04",
|
||||
"query": "货源投放中紧俏品规、均衡满足品规和新品是如何定义和区分的？各自占比有什么限制？",
|
||||
"query_type": "factual",
|
||||
"difficulty": "medium",
|
||||
"source_doc": "1.docx",
|
||||
"expected_keywords": ["紧俏品规", "均衡满足品规", "完全满足品规", "20%", "40%", "24个月", "12个月"],
|
||||
"reference_answer": "货源属性分为四类：一是紧俏品规，指市场供不应求的卷烟规格，其占比不超过全部规格的20%；二是均衡满足品规，指市场供求基本平衡的规格，占比不超过40%；三是完全满足品规，指市场供应充足的规格；四是新品，其中二类以上新品销售时限为24个月，三类以下新品销售时限为12个月。在货源投放中，主导品规每周投放量占比不低于60%，主导品规加护卫品规不低于85%，主导品规加潜力品规不低于80%。"
|
||||
},
|
||||
{
|
||||
"id": "q05",
|
||||
"query": "货源投放中对客户的供货限量是怎么规定的？有什么具体的数量限制？",
|
||||
"query_type": "factual",
|
||||
"difficulty": "medium",
|
||||
"source_doc": "1.docx",
|
||||
"expected_keywords": ["15倍", "50条", "上年度", "平均月度进货量", "节假日", "50%", "100%"],
|
||||
"reference_answer": "货源投放的供货限量有多项具体规定：月度单客户订货上限为上年度平均月度进货量的15倍；单次单品规供货不超过50条；在节假日旺季期间，供货量可上浮不超过50%，单次单品规上限可上浮不超过100%（即100条）。对于特殊客户和群体，紧俏烟的供货比例不超过供货总量的30%，增加量上限为同档级客户的50%。批零网配增加量上限为同档级初始定量的50%。"
|
||||
},
|
||||
{
|
||||
"id": "q06",
|
||||
"query": "市场状态评价指标体系中一级指标和二级指标分别包含哪些内容？权重如何分配？",
|
||||
"query_type": "factual",
|
||||
"difficulty": "medium",
|
||||
"source_doc": "1.docx",
|
||||
"expected_keywords": ["一级指标", "二级指标", "70%", "零售价格指数", "流通价格指数", "终端动销率", "终端存销比", "社会存销比", "客户断货率", "订货面", "订足面", "订单满足率"],
|
||||
"reference_answer": "市场状态评价指标体系采用双层双级结构。一级指标权重不低于70%，包括六项：零售价格指数、流通价格指数、终端动销率、终端存销比、社会存销比、客户断货率。二级指标包括五项：订货面、订足面、订单满足率、货源利用率、重购率。综合评分95分以上为「俏」，85-95分为「紧」，70-85分为「平」，50-70分为「松」，50分以下为「软」。"
|
||||
},
|
||||
{
|
||||
"id": "q07",
|
||||
"query": "货源投放结果评估中的三面两率具体指什么？如何根据评估结果优化投放策略？",
|
||||
"query_type": "instruction",
|
||||
"difficulty": "hard",
|
||||
"source_doc": "1.docx",
|
||||
"expected_keywords": ["供货面", "订货面", "订足面", "订单满足率", "货源利用率", "60%", "20%", "90%"],
|
||||
"reference_answer": "货源投放结果评估采用「三面两率」体系，「三面」指供货面（供货规格占总规格的比例）、订货面（订货客户占供货客户的比例）、订足面（订足客户占订货客户的比例），「两率」指订单满足率和货源利用率。评估标准中，供货面和订货面60%以上为「高」，20%以下为「低」；订足面90%以上为「高」，20%以下为「低」。根据供货面、订货面、订足面的高低组合共有八种情况，每种情况对应不同的优化策略。"
|
||||
},
|
||||
{
|
||||
"id": "q08",
|
||||
"query": "文明吸烟环境建设中的SUCCESS模型包括哪些功能？请说明各功能的含义及分类。",
|
||||
"query_type": "factual",
|
||||
"difficulty": "medium",
|
||||
"source_doc": "2.docx",
|
||||
"expected_keywords": ["SUCCESS", "Smoking", "Safe", "Convenience", "Utility", "Comfortable", "Experience", "Survey", "基础功能", "扩展功能"],
|
||||
"reference_answer": "SUCCESS模型包含七项功能，分为基础功能和扩展功能两类。基础功能三项：S-Smoking（吸食卷烟），提供安全卫生的吸烟环境；S-Safe（安全保障），确保场所安全；C-Convenience（区位便利），方便吸烟者使用。扩展功能四项：U-Utility（一址多用），实现场所多功能利用；C-Comfortable（环境舒适），提供舒适的吸烟体验；E-Experience（互动体验），增加互动和体验功能；S-Survey（信息收集），收集使用者反馈和需求信息。"
|
||||
},
|
||||
{
|
||||
"id": "q09",
|
||||
"query": "文明吸烟环境建设中A类区域包含哪些子类别？各类区域分别适用什么建设类型？",
|
||||
"query_type": "factual",
|
||||
"difficulty": "medium",
|
||||
"source_doc": "2.docx",
|
||||
"expected_keywords": ["A1", "A2", "A3", "A4", "公园", "医疗机构", "车站", "道路", "吸烟室", "吸烟区", "吸烟点"],
|
||||
"reference_answer": "A类为公众服务区域，包含四个子类别：A1为公园、广场、景区、场馆；A2为医疗机构、院校；A3为车站、机场、码头；A4为城镇道路。建设类型方面，A1类适合建设吸烟区和吸烟点；A2类适合建设吸烟点；A3类适合建设吸烟室和吸烟区；A4类适合建设吸烟点，且每1000米至少配置2个吸烟点。B类为商业流通区域（B1大型商场超市、B2宾馆饭店会议中心、B3卷烟零售终端），C类为生产办公区域（C1办公楼区、C2工业园区）。"
|
||||
},
|
||||
{
|
||||
"id": "q10",
|
||||
"query": "文明吸烟环境建设管理标准中，预算执行数据和月度信息的上传时限有什么要求？",
|
||||
"query_type": "factual",
|
||||
"difficulty": "easy",
|
||||
"source_doc": "2.docx",
|
||||
"expected_keywords": ["3月1日", "每月10日", "专项列支", "专款专用"],
|
||||
"reference_answer": "文明吸烟环境建设管理标准对费用管理有明确的时限要求：预算编制要求专项列支、专款专用；预算执行数据上传不晚于次年3月1日；每月10日前需上传上月预算执行情况。此外，档案管理要求采用统一编码规则：所在区+街道+道路+场所编码（AXXX/BXXX/CXXX）+设备编码（XXX），并实行一址一档管理。"
|
||||
},
|
||||
{
|
||||
"id": "q11",
|
||||
"query": "文明吸烟环境建设的建设原则有哪些？对禁烟场所有什么规定？",
|
||||
"query_type": "factual",
|
||||
"difficulty": "easy",
|
||||
"source_doc": "2.docx",
|
||||
"expected_keywords": ["依法守规", "公益为主", "需求导向", "合理布局", "政策支持", "统筹协调", "严格规范", "保障投入", "不得以盈利为目的", "禁止出现烟草企业标识"],
|
||||
"reference_answer": "文明吸烟环境建设遵循四项原则：一是依法守规、公益为主，不得以盈利为目的，禁止出现烟草企业标识；二是需求导向、合理布局，以「四区、三站、两口」为重点区域；三是政策支持、统筹协调；四是严格规范、保障投入。同时明确规定禁止在禁烟场所建设吸烟设施。"
|
||||
},
|
||||
{
|
||||
"id": "q12",
|
||||
"query": "零售终端体系中普通终端的五化评价标准是什么？达标要求是什么？",
|
||||
"query_type": "factual",
|
||||
"difficulty": "medium",
|
||||
"source_doc": "3.docx",
|
||||
"expected_keywords": ["店外形象明亮化", "店内环境整洁化", "卷烟陈列科学化", "消费体验现代化", "卷烟经营规范化", "6个", "4个维度"],
|
||||
"reference_answer": "普通终端的「五化」评价标准包括五个维度：一是店外形象明亮化，要求店面外观整洁明亮；二是店内环境整洁化，要求店内卫生整洁有序；三是卷烟陈列科学化，要求卷烟陈列规范有序；四是消费体验现代化，要求提供现代化的消费体验设施；五是卷烟经营规范化，要求经营管理规范合规。达标要求为：达标项目不少于6个，且需覆盖不少于4个维度。普通终端日常维护要求每季度至少一次。"
|
||||
},
|
||||
{
|
||||
"id": "q13",
|
||||
"query": "一般现代终端如何划分？新现代终端和普通现代终端有什么区别？",
|
||||
"query_type": "comparison",
|
||||
"difficulty": "medium",
|
||||
"source_doc": "3.docx",
|
||||
"expected_keywords": ["A类", "B类", "C类", "D类", "E类", "金丝利通", "全商品扫码", "全店铺管理", "全渠道支付", "会员制营销"],
|
||||
"reference_answer": "一般现代终端分为两大类五个等级。新现代终端分为A、B、C三类，要求使用「金丝利·通」系统，实现「四全」标准：全商品扫码、全店铺管理、全渠道支付、会员制营销。普通现代终端分为D、E两类，使用行业外系统，需要实现数据共享。一般现代终端需具备六大功能：产品销售、形象展示、品牌培育、宣传促销、信息采集、消费跟踪。运行评价满分100分，达标分80分，年度抽查率不低于10%。"
|
||||
},
|
||||
{
|
||||
"id": "q14",
|
||||
"query": "加盟终端的准入标准有哪些具体要求？",
|
||||
"query_type": "factual",
|
||||
"difficulty": "hard",
|
||||
"source_doc": "3.docx",
|
||||
"expected_keywords": ["A级", "3年", "10-25档", "80%", "30平米", "500个", "300米"],
|
||||
"reference_answer": "加盟终端的准入标准包括七项具体要求：一是信用等级A级及以上；二是连续3年无涉烟行政处罚记录；三是档位范围在10-25档之间；四是城网客户经营规格不低于供应规格的80%；五是经营面积不低于30平方米；六是商品数量不少于500个；七是加盟终端之间的步行距离不少于300米。建成标准还要求每天营业时间不少于12小时，卷烟陈列面积不少于1.8平方米。"
|
||||
},
|
||||
{
|
||||
"id": "q15",
|
||||
"query": "金丝利零售品牌的六统一标准包括哪些内容？",
|
||||
"query_type": "factual",
|
||||
"difficulty": "easy",
|
||||
"source_doc": "3.docx",
|
||||
"expected_keywords": ["品牌名称", "形象标识", "管理系统", "经营模式", "会员管理", "管理标准"],
|
||||
"reference_answer": "「金丝利零售」品牌的「六统一」标准包括：一是统一品牌名称，所有加盟终端统一使用「金丝利零售」品牌名称；二是统一形象标识，统一店面外观和标识设计；三是统一管理系统，使用统一的信息管理系统；四是统一经营模式，采用标准化的经营管理模式；五是统一会员管理，实行统一的会员制度和营销策略；六是统一管理标准，执行统一的运营管理和服务标准。"
|
||||
},
|
||||
{
|
||||
"id": "q16",
|
||||
"query": "加盟终端的运营管理要求包括哪些？评价标准和退出机制是怎样的？",
|
||||
"query_type": "factual",
|
||||
"difficulty": "hard",
|
||||
"source_doc": "3.docx",
|
||||
"expected_keywords": ["每两周", "一次", "每季度", "每半年", "80分", "5个工作日", "3次", "4次", "星标"],
|
||||
"reference_answer": "加盟终端运营管理要求包括：拜访频次为每两周至少一次；分公司评价频次为每季度全覆盖一次；市公司评价频次为每半年全覆盖一次。评价满分为100分，达标分为80分，未达标需在5个工作日内完成整改。退出机制方面：一年内累计3次不达标或两年内累计4次不达标将触发退出。「星标加盟终端」评定条件为：加盟满1年且经营超半年、无违法记录，城网平均分不低于95分且单次不低于90分，农网平均分不低于90分且单次不低于85分。协议期限首次为3年，续签也为3年。运营满三年后可申请升级改造。"
|
||||
},
|
||||
{
|
||||
"id": "q17",
|
||||
"query": "零售终端建设的投入管理有哪些标准？各类终端的单户投入上限是多少？",
|
||||
"query_type": "factual",
|
||||
"difficulty": "hard",
|
||||
"source_doc": "3.docx",
|
||||
"expected_keywords": ["加盟终端", "合作终端", "新现代终端", "普通现代终端", "普通终端", "单户投入上限", "三年", "不得重复投入"],
|
||||
"reference_answer": "零售终端建设投入管理遵循五项原则：依法合规、适度引导、规范操作、务求实效、节俭必须。各类终端的单户投入上限不同：加盟终端最高，合作终端次之，新现代终端再次之，普通现代终端较低，普通终端最低。投入范围包括终端形象提升费用、信息化建设物资费用、零售客户培训费用。日常维护按三年周期计算，各类型终端标准不同。重要规定是三年内不得对同一终端重复投入。特色终端可在基础标准上增加投入。"
|
||||
},
|
||||
{
|
||||
"id": "q18",
|
||||
"query": "零售终端梯次化升级的路径是什么？从普通终端到加盟终端需要满足哪些条件？",
|
||||
"query_type": "instruction",
|
||||
"difficulty": "hard",
|
||||
"source_doc": "3.docx",
|
||||
"expected_keywords": ["梯次化", "升级路径", "普通终端", "现代终端", "加盟终端", "六大功能", "功能价值评价"],
|
||||
"reference_answer": "零售终端梯次化升级体系为：普通终端到一般现代终端（D/E类）到新现代终端（A/B/C类）到加盟终端。升级依据是功能价值评价，包括六大功能维度：产品销售、形象展示、品牌培育、宣传促销、信息采集、消费跟踪。从普通终端升级到一般现代终端需满足「五化」标准并申请审核，一般现代终端建设流程包括客户申请、资格审核、办理聚合支付、签订协议、共享对接、建立档案六步。从一般现代终端升级到加盟终端需满足加盟准入标准（信用等级A级、连续3年无违法、档位10-25档等），并经过加盟建设流程。整个梯次化体系共有5条升级路径。"
|
||||
}
|
||||
]
|
||||
}
|
||||
Reference in New Issue
Block a user