有趣的事

查询半文半图的混合文档时检索系统容易漏检答案,核心原因是什么?

半文半图文档容易漏检,关键在于检索系统通常把“文档”先转换成可索引的文本,而不是完整保留文字、图像及其位置关系。普通文本解析器能抽取段落和标题,却可能把嵌入的图表、扫描页、截图当成图片附件跳过;即使启用 OCR,低分辨率、倾斜、复杂表格、公式、竖排文字或图中文字过小,也会造成识别缺字、错字和顺序错乱。

更深一层的问题是跨模态关联丢失:答案可能需要把正文中的“见下图”与图例、坐标轴或某个标注对应起来。若系统只索引 OCR 结果,或把正文和图片分别切块,图中术语与上下文没有一起进入同一检索单元,用户按正文说法提问时就未必能命中图里的表达。反过来,图中的颜色、趋势、空间关系等信息本身也不一定能由 OCR 转成文字。

所以这不只是“搜索词没匹配上”,而是解析覆盖率、OCR质量、版面结构保留、分块方式和检索表示共同造成的信息缺口。改进时可以先检查漏检内容是否实际进入索引,再针对扫描页和图表启用 OCR/视觉描述,保留图表标题、邻近段落及页码等关联信息,并用包含图中文字和上下文的真实问题评估召回率;若答案依赖趋势或布局关系,还需要支持图像或多模态检索,单纯增加关键词索引通常不够。

相关阅读