标题

https://arxiv.org/pdf/2405.20139v1

总结

GNN-RAG 是一种结合了大型语言模型（LLMs）和图神经网络（GNNs）的检索增强生成（RAG）框架，用于知识图谱问答（KGQA）任务，通过GNN在密集的KG子图上进行推理来提取答案候选和推理路径，然后将这些信息转化为文本并输入给LLM进行RAG，以提高复杂问题的答题准确性和效率。

摘要

本网页介绍了一种名为GNN-RAG的知识图谱问答（KGQA）方法，该方法通过结合图神经网络（GNNs）和大型语言模型（LLMs）的优势，提出了一种新的检索增强生成（RAG）框架。GNN-RAG首先利用GNN在密集的KG子图上进行推理，以检索与给定问题相关的答案候选和最短推理路径。然后，将这些路径转化为文本，并与LLM结合使用RAG进行问题答案的生成。该方法在两个广泛使用的KGQA基准数据集（WebQSP和CWQ）上实现了最先进的性能，特别是在多跳和多实体问题上，超越了现有的GPT-4性能，并且使用了一个70亿参数的调优LLM。此外，GNN-RAG通过增强检索（RA）技术进一步提升了KGQA的性能，该技术结合了GNN和LLM的检索方法。实验结果表明，GNN-RAG在不增加额外LLM调用的情况下，提高了KGQA的性能，并且在使用70亿参数的LLM时，与GPT-4的性能相匹敌或超越。

观点

1. GNN与LLM的结合: GNN-RAG通过将GNN的图推理能力与LLM的自然语言理解能力相结合，提高了KGQA的性能。
2. 提高多跳推理能力: GNN-RAG在处理多跳和多实体问题上表现出色，能够更有效地从KG中检索和推理必要的信息。
3. 效率与有效性: GNN-RAG不仅提高了KGQA的准确性，而且在不增加额外LLM调用的情况下实现了高效的推理。
4. 检索增强技术: GNN-RAG采用了检索增强（RA）技术，通过结合GNN和LLM的检索方法，进一步提升了KGQA的性能。
5. 超越现有模型: GNN-RAG在两个基准数据集上的实验结果显示，该方法超越了现有的KGQA方法，包括基于LLM的方法，如ToG和RoG。
6. 适用于不同LLM: GNN-RAG可以与不同的LLM（如ChatGPT、LLaMA2-Chat等）结合使用，提高了这些模型在KGQA任务上的性能。
7. 案例研究: 通过案例研究，GNN-RAG展示了其在提高LLM faithfulfulness（信息使用的准确性和问题指令遵循程度）方面的优势。
8. 性能分析: GNN-RAG在不同类型的问题（如单跳、多跳和多实体问题）上的性能进行了详细分析，证明了其在各种情境下的有效性。

现有方案

实验数据

Case Study