-
使用图神经网络（GNN）重排来改进 RAG
标题 https://arxiv.org/pdf/2405.18414v1 总结 本研究提出了一种基于图神经网络（GNN）的重排器G-RAG，用于改善基于检索增强的生成（RAG）系统的开放领域问答（ODQA）性能，通过利用文档间的隐含连接和抽象意义表示（AMR）图来增强文档重排。 摘要 本文首先介绍了RAG系统在开放领域问答（ODQA）中的应用，指出尽管RAG系统在提取相关文档方面取得了进展，但它未能充分利用文档间的连接。为了解决这个问题，研究者们提出了一种基于图神经网络的重排器G-RAG，它通过构建文档图和利用AMR图的语义信息来改善文档的重排。G-RAG的方法是首先为每个问题-文档对生成AMR图，然后在这些图中建立文档间的连接，最后使用图神经网络对文档进行重排。该研究还提出了新的评估指标，以更公平地处理排名时的平局问题。实验结果表明，G-RAG在多个数据集上的表现优于现有的最佳方法，并且具有更小的计算足迹。此外，研究人员还评估了大型语言模型PaLM 2作为重排器的性能，发现即使是大型预训练语言模型，也无法达到G-RAG的性能水平。 观点 实验数据
-
HippoRAG: 基于神经生理理论的长期记忆框架
标题 HippoRAG: Neurobiologically InspiredLong-Term Memory for Large Language Models 总结…
-
RaFe: Ranking Feedback Improves Query Rewriting for RAG
标题 RaFe: Ranking Feedback Improves Query Rewriting for RAG 总结…
-
AGRAME: Any-Granularity Ranking with Multi-Vector Embeddings
标题 AGRAME: Any-Granularity Ranking with Multi-Vector Embeddings 总结 本研究引入了AGRAME（Any-Granularity Ranking…
-
FlashRAG: 为 RAG 研究而生的模块化工具包
—
in RAG标题 FlashRAG: A Modular Toolkit for Efficient Retrieval-Augmented Generation Research…
-
IM-RAG: 基于学习内在思维的多轮 RAG
标题 IM-RAG: Multi-Round Retrieval-Augmented Generation Through Learning Inner Monologues 总结…
-
Prompt-based Code Completion via Multi-Retrieval Augmented Generation
总结 本网页主要介绍了一种名为 ProCC 的代码自动完成框架，它通过多重检索增强的生成（Multi-Retrieval Augmented Generation）技术，结合提示工程和上下文多臂赌博机算法，以多角度理解代码语义，提高代码自动完成的准确性和效率。 摘要 网页详细介绍了 ProCC 框架的设计和实现，它包括两个主要组件：基于提示的多重检索器系统和自适应检索选择算法。基于提示的多重检索器系统通过设计三种不同的提示模板来理解代码语义，分别是词法语义、假设行和代码摘要三个视角。自适应检索选择算法则利用上下文多臂赌博机算法，根据不同的代码上下文动态选择最合适的检索视角，以提供最佳的上下文支持。实验结果表明，ProCC…
-
控制令牌 (CT) 结合密集段落检索 (DPR) 模型
总结 本研究通过引入控制令牌（Control Token, CT）并结合密集段落检索（Dense Passage Retrieval, DPR）模型，提高了大型语言模型（LLMs）中的信息检索准确性，特别是在特定领域的文档检索方面。 摘要 研究团队采用了基于深度学习的搜索引擎技术，即密集段落检索（DPR）模型，并通过引入控制令牌（CT）来增强其性能。CT 是一种特殊的令牌，用于表示查询的意图类别，它通过与查询和文档文本结合，帮助模型更准确地理解用户的检索意图。研究选择了…
-
AIGC 领域下的 RAG 调查汇总
总结 本网页是一篇综述性的研究论文，主要探讨了基于检索增强的生成（Retrieval-Augmented Generation, RAG）技术在人工智能生成内容（AI-Generated Content, AIGC）领域的应用和进展。 摘要 文章首先介绍了RAG技术的背景和重要性，指出随着基础模型的发展、大规模高质量数据集的可用性以及序列到序列任务的进步，AI生成内容（AIGC）面临的挑战和需求也在不断增长。RAG作为一种解决方案，通过引入信息检索过程，增强了生成过程的准确性和鲁棒性。文章详细分类了RAG的基础架构，包括查询基础、检索增强、对数概率增强和推测性RAG等多种类型，并探讨了这些方法在不同模态和任务中的应用。 接着，文章讨论了RAG的各种增强技术，包括输入增强、检索器优化、生成器优化、结果增强以及整个流程的增强等，这些技术都旨在提高RAG系统的性能。文章还展示了RAG在文本、代码、知识、图像、视频、3D、科学研究和音频等多个领域的应用实例。 文章最后指出了RAG技术面临的局限性和挑战，包括检索结果中的噪声、查询和生成器之间的间隙、系统复杂性增加、长尾和实时知识的整合以及与其他技术的结合等。同时，文章提出了未来研究的潜在方向，包括设计更高效的RAG架构、探索更多领域的应用、实现更好的长文本处理能力以及更有效地整合实时和长尾知识等。…
-
ERAGent: 提升 RAG 模型的准确性、效率和个性化
一句话介绍 ERAGent 通过增强问题理解、优化知识检索、提升响应效率和实现个性化服务，显著提升了基于检索的大型语言模型的性能和用户体验。 摘要 ERAGent（Enhanced Retrieval-Augmented Generation Agent）是由悉尼科技大学的研究团队开发的，旨在通过增强问题重写、知识过滤和个性化大型语言模型读取器等组件来提升基于检索的大型语言模型（LLMs）的性能。该框架在处理复杂问题时，通过改进检索质量、提高响应效率和个性化服务，增强了问题理解和回答的准确性。研究团队通过对比实验和多轮多会话问答任务的评估，证明了 ERAGent 在提供准确、高效且个性化响应方面的优势。此外，ERAGent…
-
融合检索 & Rerank 在 RAG 中的效果评测
—
in RAGRAG 的基本原理 RAG 的工作流程主要分为两个阶段： Embedding 的缺点 Embedding 的具象化理解可以是，用一组高维数据来表达一段文本的核心内容。如果这段文本非常长，或者包含的内容非常多样化，那么固定维度的 embedding 是很难表达文本的全面内容的。因此：…
