-
控制令牌 (CT) 结合密集段落检索 (DPR) 模型
总结 本研究通过引入控制令牌（Control Token, CT）并结合密集段落检索（Dense Passage Retrieval, DPR）模型，提高了大型语言模型（LLMs）中的信息检索准确性，特别是在特定领域的文档检索方面。 摘要 研究团队采用了基于深度学习的搜索引擎技术，即密集段落检索（DPR）模型，并通过引入控制令牌（CT）来增强其性能。CT 是一种特殊的令牌，用于表示查询的意图类别，它通过与查询和文档文本结合，帮助模型更准确地理解用户的检索意图。研究选择了…
-
AIGC 领域下的 RAG 调查汇总
总结 本网页是一篇综述性的研究论文，主要探讨了基于检索增强的生成（Retrieval-Augmented Generation, RAG）技术在人工智能生成内容（AI-Generated Content, AIGC）领域的应用和进展。 摘要 文章首先介绍了RAG技术的背景和重要性，指出随着基础模型的发展、大规模高质量数据集的可用性以及序列到序列任务的进步，AI生成内容（AIGC）面临的挑战和需求也在不断增长。RAG作为一种解决方案，通过引入信息检索过程，增强了生成过程的准确性和鲁棒性。文章详细分类了RAG的基础架构，包括查询基础、检索增强、对数概率增强和推测性RAG等多种类型，并探讨了这些方法在不同模态和任务中的应用。 接着，文章讨论了RAG的各种增强技术，包括输入增强、检索器优化、生成器优化、结果增强以及整个流程的增强等，这些技术都旨在提高RAG系统的性能。文章还展示了RAG在文本、代码、知识、图像、视频、3D、科学研究和音频等多个领域的应用实例。 文章最后指出了RAG技术面临的局限性和挑战，包括检索结果中的噪声、查询和生成器之间的间隙、系统复杂性增加、长尾和实时知识的整合以及与其他技术的结合等。同时，文章提出了未来研究的潜在方向，包括设计更高效的RAG架构、探索更多领域的应用、实现更好的长文本处理能力以及更有效地整合实时和长尾知识等。…
-
ERAGent: 提升 RAG 模型的准确性、效率和个性化
一句话介绍 ERAGent 通过增强问题理解、优化知识检索、提升响应效率和实现个性化服务，显著提升了基于检索的大型语言模型的性能和用户体验。 摘要 ERAGent（Enhanced Retrieval-Augmented Generation Agent）是由悉尼科技大学的研究团队开发的，旨在通过增强问题重写、知识过滤和个性化大型语言模型读取器等组件来提升基于检索的大型语言模型（LLMs）的性能。该框架在处理复杂问题时，通过改进检索质量、提高响应效率和个性化服务，增强了问题理解和回答的准确性。研究团队通过对比实验和多轮多会话问答任务的评估，证明了 ERAGent 在提供准确、高效且个性化响应方面的优势。此外，ERAGent…
-
融合检索 & Rerank 在 RAG 中的效果评测
—
in RAGRAG 的基本原理 RAG 的工作流程主要分为两个阶段： Embedding 的缺点 Embedding 的具象化理解可以是，用一组高维数据来表达一段文本的核心内容。如果这段文本非常长，或者包含的内容非常多样化，那么固定维度的 embedding 是很难表达文本的全面内容的。因此：…
-
Reducing hallucination in structured outputs via Retrieval-Augmented Generation
一句话介绍 主要介绍了一种使用检索增强生成（RAG）技术来减少生成性人工智能（GenAI）中幻觉现象的方法，并在工作流程 (workflow) 生成任务中实际应用了这种方法。 by heycc 业务场景 把用户的自然语言转换成 json 结构化的…