-
爬取 Coze bot store 的使用量数据
对 Coze 上的 bot 的使用量数据有兴趣，想爬取下来分析热门 bot。虽然之前没做过这类爬虫，但好在有 ChatGPT，直接提问，多提几次，就能写出可用的爬虫了 Coze bot store…
-
GNN-RAG: 用于 LLM 推理的图神经检索
标题 https://arxiv.org/pdf/2405.20139v1 总结 GNN-RAG 是一种结合了大型语言模型（LLMs）和图神经网络（GNNs）的检索增强生成（RAG）框架，用于知识图谱问答（KGQA）任务，通过GNN在密集的KG子图上进行推理来提取答案候选和推理路径，然后将这些信息转化为文本并输入给LLM进行RAG，以提高复杂问题的答题准确性和效率。 摘要 本网页介绍了一种名为GNN-RAG的知识图谱问答（KGQA）方法，该方法通过结合图神经网络（GNNs）和大型语言模型（LLMs）的优势，提出了一种新的检索增强生成（RAG）框架。GNN-RAG首先利用GNN在密集的KG子图上进行推理，以检索与给定问题相关的答案候选和最短推理路径。然后，将这些路径转化为文本，并与LLM结合使用RAG进行问题答案的生成。该方法在两个广泛使用的KGQA基准数据集（WebQSP和CWQ）上实现了最先进的性能，特别是在多跳和多实体问题上，超越了现有的GPT-4性能，并且使用了一个70亿参数的调优LLM。此外，GNN-RAG通过增强检索（RA）技术进一步提升了KGQA的性能，该技术结合了GNN和LLM的检索方法。实验结果表明，GNN-RAG在不增加额外LLM调用的情况下，提高了KGQA的性能，并且在使用70亿参数的LLM时，与GPT-4的性能相匹敌或超越。 观点 现有方案 实验数据…
-
使用图神经网络（GNN）重排来改进 RAG
标题 https://arxiv.org/pdf/2405.18414v1 总结 本研究提出了一种基于图神经网络（GNN）的重排器G-RAG，用于改善基于检索增强的生成（RAG）系统的开放领域问答（ODQA）性能，通过利用文档间的隐含连接和抽象意义表示（AMR）图来增强文档重排。 摘要 本文首先介绍了RAG系统在开放领域问答（ODQA）中的应用，指出尽管RAG系统在提取相关文档方面取得了进展，但它未能充分利用文档间的连接。为了解决这个问题，研究者们提出了一种基于图神经网络的重排器G-RAG，它通过构建文档图和利用AMR图的语义信息来改善文档的重排。G-RAG的方法是首先为每个问题-文档对生成AMR图，然后在这些图中建立文档间的连接，最后使用图神经网络对文档进行重排。该研究还提出了新的评估指标，以更公平地处理排名时的平局问题。实验结果表明，G-RAG在多个数据集上的表现优于现有的最佳方法，并且具有更小的计算足迹。此外，研究人员还评估了大型语言模型PaLM 2作为重排器的性能，发现即使是大型预训练语言模型，也无法达到G-RAG的性能水平。 观点 实验数据
-
HippoRAG: 基于神经生理理论的长期记忆框架
标题 HippoRAG: Neurobiologically InspiredLong-Term Memory for Large Language Models 总结…
-
RaFe: Ranking Feedback Improves Query Rewriting for RAG
标题 RaFe: Ranking Feedback Improves Query Rewriting for RAG 总结…
-
AGRAME: Any-Granularity Ranking with Multi-Vector Embeddings
标题 AGRAME: Any-Granularity Ranking with Multi-Vector Embeddings 总结 本研究引入了AGRAME（Any-Granularity Ranking…
-
FlashRAG: 为 RAG 研究而生的模块化工具包
—
in RAG标题 FlashRAG: A Modular Toolkit for Efficient Retrieval-Augmented Generation Research…
-
IM-RAG: 基于学习内在思维的多轮 RAG
标题 IM-RAG: Multi-Round Retrieval-Augmented Generation Through Learning Inner Monologues 总结…
-
Prompt-based Code Completion via Multi-Retrieval Augmented Generation
总结 本网页主要介绍了一种名为 ProCC 的代码自动完成框架，它通过多重检索增强的生成（Multi-Retrieval Augmented Generation）技术，结合提示工程和上下文多臂赌博机算法，以多角度理解代码语义，提高代码自动完成的准确性和效率。 摘要 网页详细介绍了 ProCC 框架的设计和实现，它包括两个主要组件：基于提示的多重检索器系统和自适应检索选择算法。基于提示的多重检索器系统通过设计三种不同的提示模板来理解代码语义，分别是词法语义、假设行和代码摘要三个视角。自适应检索选择算法则利用上下文多臂赌博机算法，根据不同的代码上下文动态选择最合适的检索视角，以提供最佳的上下文支持。实验结果表明，ProCC…
-
控制令牌 (CT) 结合密集段落检索 (DPR) 模型
总结 本研究通过引入控制令牌（Control Token, CT）并结合密集段落检索（Dense Passage Retrieval, DPR）模型，提高了大型语言模型（LLMs）中的信息检索准确性，特别是在特定领域的文档检索方面。 摘要 研究团队采用了基于深度学习的搜索引擎技术，即密集段落检索（DPR）模型，并通过引入控制令牌（CT）来增强其性能。CT 是一种特殊的令牌，用于表示查询的意图类别，它通过与查询和文档文本结合，帮助模型更准确地理解用户的检索意图。研究选择了…
-
AIGC 领域下的 RAG 调查汇总
总结 本网页是一篇综述性的研究论文，主要探讨了基于检索增强的生成（Retrieval-Augmented Generation, RAG）技术在人工智能生成内容（AI-Generated Content, AIGC）领域的应用和进展。 摘要 文章首先介绍了RAG技术的背景和重要性，指出随着基础模型的发展、大规模高质量数据集的可用性以及序列到序列任务的进步，AI生成内容（AIGC）面临的挑战和需求也在不断增长。RAG作为一种解决方案，通过引入信息检索过程，增强了生成过程的准确性和鲁棒性。文章详细分类了RAG的基础架构，包括查询基础、检索增强、对数概率增强和推测性RAG等多种类型，并探讨了这些方法在不同模态和任务中的应用。 接着，文章讨论了RAG的各种增强技术，包括输入增强、检索器优化、生成器优化、结果增强以及整个流程的增强等，这些技术都旨在提高RAG系统的性能。文章还展示了RAG在文本、代码、知识、图像、视频、3D、科学研究和音频等多个领域的应用实例。 文章最后指出了RAG技术面临的局限性和挑战，包括检索结果中的噪声、查询和生成器之间的间隙、系统复杂性增加、长尾和实时知识的整合以及与其他技术的结合等。同时，文章提出了未来研究的潜在方向，包括设计更高效的RAG架构、探索更多领域的应用、实现更好的长文本处理能力以及更有效地整合实时和长尾知识等。…
