索引混淆是指知识文档的核心关键词

[sami]

这里需要注意的是要找一个和自己业务比较契合的embedding模型和向量数据库。 召回结果的数量是另一个关键因素更多的结果可以提供丰富的预料有助于系统更好地理解问题的上下文和隐含细节。但是结果数量过多可能导致信息过载降低回答准确性并增加系统的时间和资源成本。

第一阶段我们可以先把召回数量设置为10。 4内容生成 内容生成环节更多的是考虑用户体验在第一阶段我们可以先简单一些能顺利输出答案即可。因为数据召回环节只有向量召回因此这一步可以只将上一步召回环节返回的top 10的知识筛选出来然后提供给大模型生成答案。

第一阶段的系统可能会存在较多问题大家会发现生成 土库曼斯坦电话号码列表 答案的相关性和准确度都比较低。但是没关系这一阶段的首要任务是跑通系统流程优化的工作我们放在第二和第阶段再做。 第二阶段可使用即系统初步达到可上线水平 1知识分块与索引 知识的分块与索引对最终答案生成的准确性有非常大的影响尤其是在处理超长文本的时候会出现索引混淆问题。

索引混淆是指知识文档的核心关键词被湮没在大量的无效信息中比如大量无关紧要的助词、语气词、或无关信息导致建立的索引中核心知识比重少从而影响生成答案的质量。针对这个问题我们可以采用种优化方案索引降噪、多级索引和HYDE。