标题

https://arxiv.org/pdf/2405.18414v1

总结

本研究提出了一种基于图神经网络（GNN）的重排器G-RAG，用于改善基于检索增强的生成（RAG）系统的开放领域问答（ODQA）性能，通过利用文档间的隐含连接和抽象意义表示（AMR）图来增强文档重排。

摘要

本文首先介绍了RAG系统在开放领域问答（ODQA）中的应用，指出尽管RAG系统在提取相关文档方面取得了进展，但它未能充分利用文档间的连接。为了解决这个问题，研究者们提出了一种基于图神经网络的重排器G-RAG，它通过构建文档图和利用AMR图的语义信息来改善文档的重排。G-RAG的方法是首先为每个问题-文档对生成AMR图，然后在这些图中建立文档间的连接，最后使用图神经网络对文档进行重排。该研究还提出了新的评估指标，以更公平地处理排名时的平局问题。实验结果表明，G-RAG在多个数据集上的表现优于现有的最佳方法，并且具有更小的计算足迹。此外，研究人员还评估了大型语言模型PaLM 2作为重排器的性能，发现即使是大型预训练语言模型，也无法达到G-RAG的性能水平。

观点

1. RAG系统的局限性: 尽管RAG系统在ODQA任务中有效，但它无法利用文档间的隐含连接，这限制了系统识别包含答案的文档的能力。
2. G-RAG的创新点: G-RAG通过引入文档图和AMR图的语义信息，提供了一种新的文档重排方法，能够更好地捕捉文档间的关系。
3. 评估指标的改进: 本文提出了新的评估指标MTRR和TMHits@10，以更好地处理排名时的平局问题，这对于公平评估重排器的性能至关重要。
4. 大型语言模型的局限: 即使是先进的大型语言模型如PaLM 2，在没有微调的情况下作为重排器，其性能也不如专门设计的G-RAG模型。
5. 实验结果: G-RAG在不同数据集上的实验结果证明了其在ODQA任务中的有效性，并且在计算资源消耗方面也表现出优势。
6. 未来方向: 研究人员提出了未来可能的研究方向，包括进一步探索AMR图信息的处理方法，以及如何更有效地结合大型语言模型来提高RAG系统的性能。

实验数据