-
FlashRAG: 为 RAG 研究而生的模块化工具包
—
in RAG标题 FlashRAG: A Modular Toolkit for Efficient Retrieval-Augmented Generation Research 总结 FlashRAG 是一个高效、模块化的开源工具包，旨在帮助研究人员复现现有的检索增强生成（RAG）方法，并在统一框架内开发自己的 RAG 算法。 摘要 网页主要介绍了一个名为 FlashRAG 的工具包，它是为了解决检索增强生成（RAG）研究中的挑战而设计的。RAG 技术通过结合大型语言模型（LLMs）和外部知识库来减少…
-
IM-RAG: 基于学习内在思维的多轮 RAG
标题 IM-RAG: Multi-Round Retrieval-Augmented Generation Through Learning Inner Monologues 总结 本网页主要介绍了一种名为 IM-RAG 的多轮检索增强生成模型，该模型通过学习内在思维（Inner Monologues）来实现大型语言模型（LLMs）与信息检索（IR）系统之间的协同工作，以提高问答系统的性能和灵活性。 摘要 IM-RAG 是一个以 LLM 为中心的模型，旨在通过学习内在思维来实现多轮检索增强生成。该模型由四个主要组件构成：理论者（Reasoner）、检索者（Retriever）、精炼者（Refiner）和进度跟踪器（Progress Tracker）。理论者负责核心推理，能够根据对话上下文自动切换角色，作为提问者提出查询以获取更多相关文档，或作为回答者根据多轮对话提供最终答案。精炼者的作用是改善检索者的输出，使其更适合…
-
Prompt-based Code Completion via Multi-Retrieval Augmented Generation
总结 本网页主要介绍了一种名为 ProCC 的代码自动完成框架，它通过多重检索增强的生成（Multi-Retrieval Augmented Generation）技术，结合提示工程和上下文多臂赌博机算法，以多角度理解代码语义，提高代码自动完成的准确性和效率。 摘要 网页详细介绍了 ProCC 框架的设计和实现，它包括两个主要组件：基于提示的多重检索器系统和自适应检索选择算法。基于提示的多重检索器系统通过设计三种不同的提示模板来理解代码语义，分别是词法语义、假设行和代码摘要三个视角。自适应检索选择算法则利用上下文多臂赌博机算法，根据不同的代码上下文动态选择最合适的检索视角，以提供最佳的上下文支持。实验结果表明，ProCC 在开源和私有领域的基准测试中都优于现有的最先进的代码自动完成技术，并且在微软的 Code Llama 和 StarCoder 模型上进行了评估，显示出显著的性能提升。 观点 动机背景 方案 评测效果…
-
控制令牌 (CT) 结合密集段落检索 (DPR) 模型
总结 本研究通过引入控制令牌（Control Token, CT）并结合密集段落检索（Dense Passage Retrieval, DPR）模型，提高了大型语言模型（LLMs）中的信息检索准确性，特别是在特定领域的文档检索方面。 摘要 研究团队采用了基于深度学习的搜索引擎技术，即密集段落检索（DPR）模型，并通过引入控制令牌（CT）来增强其性能。CT 是一种特殊的令牌，用于表示查询的意图类别，它通过与查询和文档文本结合，帮助模型更准确地理解用户的检索意图。研究选择了 AIHUB MRC 数据集，该数据集包含多种类型的复杂文档，并针对 ko 文本进行了优化。通过对 DPR 模型进行微调，使其能够处理包含 CT 的输入数据，研究者们开发了一种名为 cDPR…
-
AIGC 领域下的 RAG 调查汇总
总结 本网页是一篇综述性的研究论文，主要探讨了基于检索增强的生成（Retrieval-Augmented Generation, RAG）技术在人工智能生成内容（AI-Generated Content, AIGC）领域的应用和进展。 摘要 文章首先介绍了RAG技术的背景和重要性，指出随着基础模型的发展、大规模高质量数据集的可用性以及序列到序列任务的进步，AI生成内容（AIGC）面临的挑战和需求也在不断增长。RAG作为一种解决方案，通过引入信息检索过程，增强了生成过程的准确性和鲁棒性。文章详细分类了RAG的基础架构，包括查询基础、检索增强、对数概率增强和推测性RAG等多种类型，并探讨了这些方法在不同模态和任务中的应用。 接着，文章讨论了RAG的各种增强技术，包括输入增强、检索器优化、生成器优化、结果增强以及整个流程的增强等，这些技术都旨在提高RAG系统的性能。文章还展示了RAG在文本、代码、知识、图像、视频、3D、科学研究和音频等多个领域的应用实例。 文章最后指出了RAG技术面临的局限性和挑战，包括检索结果中的噪声、查询和生成器之间的间隙、系统复杂性增加、长尾和实时知识的整合以及与其他技术的结合等。同时，文章提出了未来研究的潜在方向，包括设计更高效的RAG架构、探索更多领域的应用、实现更好的长文本处理能力以及更有效地整合实时和长尾知识等。 观点 链接 论文：https://github.com/PKU-DAIR/RAG-Survey github：https://github.com/PKU-DAIR/RAG-Survey
-
ERAGent: 提升 RAG 模型的准确性、效率和个性化
一句话介绍 ERAGent 通过增强问题理解、优化知识检索、提升响应效率和实现个性化服务，显著提升了基于检索的大型语言模型的性能和用户体验。 摘要 ERAGent（Enhanced Retrieval-Augmented Generation Agent）是由悉尼科技大学的研究团队开发的，旨在通过增强问题重写、知识过滤和个性化大型语言模型读取器等组件来提升基于检索的大型语言模型（LLMs）的性能。该框架在处理复杂问题时，通过改进检索质量、提高响应效率和个性化服务，增强了问题理解和回答的准确性。研究团队通过对比实验和多轮多会话问答任务的评估，证明了 ERAGent 在提供准确、高效且个性化响应方面的优势。此外，ERAGent 还能够通过学习用户的个人资料，进一步优化与用户交互的质量。 为什么要做 ERAGent 作者认为在当前的 RAG 框架中存在以下问题： ERAGent 的做法 ERAGent 框架包含…
-
融合检索 & Rerank 在 RAG 中的效果评测
—
in RAGRAG 的基本原理 RAG 的工作流程主要分为两个阶段： Embedding 的缺点 Embedding 的具象化理解可以是，用一组高维数据来表达一段文本的核心内容。如果这段文本非常长，或者包含的内容非常多样化，那么固定维度的 embedding 是很难表达文本的全面内容的。因此： 融合检索和 Rerank 单纯使用 embedding 向量检索，在真实业务场景下的召回成功率很低。 常见的优化方案有： bge-m3 模型 bge-m3 模型自身支持了三种检索模式：Dense、Sparse、Multi-vector。官方介绍如下：…
-
Reducing hallucination in structured outputs via Retrieval-Augmented Generation
一句话介绍 主要介绍了一种使用检索增强生成（RAG）技术来减少生成性人工智能（GenAI）中幻觉现象的方法，并在工作流程 (workflow) 生成任务中实际应用了这种方法。 by heycc 业务场景 把用户的自然语言转换成 json 结构化的 workflow。ServiceNow 面对的 workflow 是 ITSM、HR、财经等企业内的信息化流程 为什么要训练 把自然语言转换为 Code 或者 SQL…