知识库包含表格、代码和跨页合同,普通按固定字数切块效果很差。你会怎样改造切分策略?
考察说明
考查按文档结构和任务需求设计可追溯切分的能力。
回答思路
- 解析阶段保留标题层级、页码、表格边界、代码块和条款编号,避免先转纯文本后丢失结构。
- 正文按语义段落切分并附带上级标题,表格保留表头与相关行,代码则按函数或类等自然边界处理。
- 跨页条款和引用关系可通过父子块或邻接扩展,在检索命中局部时补回必要上下文。
- 块大小、重叠和元数据不是固定常量,应依据用户查询、嵌入模型限制与生成上下文预算调优。
- 用表格问答、精确条款和代码定位等分层样本验证召回与证据完整性,避免只看总体命中率。