Vectara 发布大模型幻觉率排行榜：GPT-4 3% 最低，谷歌 Palm 高达 27.2%

据机器之心 11 月 14 日报道，近日，专注于 AI 的 Vectara 平台发布大模型幻觉率排行榜。从榜单可以得知，GPT-4 的幻觉率最低，为 3%，而谷歌 Palm 的幻觉率高达 27.2%。 据悉，为了确定这个排行榜，Vectara 使用各种开源数据集对摘要模型进行了事实一致性研究，并训练了一个模型来检测 LLM 输出中的幻觉。他们使用了一个媲美 SOTA 模型，然后通过公共 API 向上述每个 LLM 输送了 1000 篇简短文档，并要求它们仅使用文档中呈现的事实对每篇文档进行总结。在这 1000 篇文档中，只有 831 篇文档被每个模型总结，其余文档由于内容限制被至少一个模型拒绝回答。利用这 831 份文件，Vectara 计算了每个模型的总体准确率和幻觉率。