-
大模型超长上下文对 RAG 是降维打击
前言 越来越多的大模型支持了超长的上下文 (context length)，例如 Google gemini 一发布就支持 2M。超长上下文的特性大大方便了文档问答应用的开发。而 RAG 作为文档问答的解决方案，是否会被超长上下文 LLM 降维打击甚至完全替代？这篇文章就超长上下文和 RAG 这两种方案做了对比实验，并总结了两种方案的优缺点。 实验文档的选择 这里选择了香港优才计划的申请指引：優秀人才入境計劃申請須知。这个 PDF 包含繁体中文文本，文档段落结构清晰，有标题、有加粗、有编号。除了封面 PDF 里没有图片，不需要使用…
-
Coze bot statistics (July-W4)
—
in AgentCoze bot statistics (July-W4) 排名 智能体名称 类别 用户数 对话数 用户数环比上周 对话数环比上周1 SAMI Ai Character 249.5 K 8.3 M 0.88% 3.61%2…
-
Coze bot 数据观察(July-W4)
—
in AgentCoze bot 数据观察(July-W4) 排名 智能体名称 类别 用户数 对话数 用户数环比上周 对话数环比上周1 MBTI性格测试专家 Learning 1.1 M 6.7 M 24.27% 16.42%2 单人剧本杀-鬼魅酒店👻 Games…
-
百度 Agent 数据观察(Jul-W4)
—
in Agent百度 Agent 数据(Jul-W4) 排名 智能体名称 类别 用户数 对话数 用户数环比上周 对话数环比上周1 新媒体文章创作 创作 22 K 18.5 M 2.68% 0.10%2 知乎回答器 娱乐…
-
解码RAG：智谱 RAG 技术的探索与实践
产品方案 知识运营层面的产品特性包括：知识类型管理、切片管理、索引管理、数据运营 知识问答过程的产品特性包括：历史消息、输入提示、原文索引、图文混排、原文查看 产品目标用户分类：个人使用、企业对内赋能、企业 toC 提供服务 技术全景图 RAG技术挑战和方案 Embedding 针对前者，我们采用文章结构切片以及 small to big 的索引策略可以很好地解决。针对后者，则需要对 Embedding 模型进行微调。我们有四种不同的构造数据的方案，在实践中都有不错的表现： 经过微调后的 Embedding 模型在召回上会有大幅地提升。top 5…
-
爬取 Coze bot store 的使用量数据
对 Coze 上的 bot 的使用量数据有兴趣，想爬取下来分析热门 bot。虽然之前没做过这类爬虫，但好在有 ChatGPT，直接提问，多提几次，就能写出可用的爬虫了 Coze bot store 网页结构 Coze 首页 就是 bot 列表，按 10 个类别组织。初始 bot 列表是…
-
GNN-RAG: 用于 LLM 推理的图神经检索
标题 https://arxiv.org/pdf/2405.20139v1 总结 GNN-RAG 是一种结合了大型语言模型（LLMs）和图神经网络（GNNs）的检索增强生成（RAG）框架，用于知识图谱问答（KGQA）任务，通过GNN在密集的KG子图上进行推理来提取答案候选和推理路径，然后将这些信息转化为文本并输入给LLM进行RAG，以提高复杂问题的答题准确性和效率。 摘要 本网页介绍了一种名为GNN-RAG的知识图谱问答（KGQA）方法，该方法通过结合图神经网络（GNNs）和大型语言模型（LLMs）的优势，提出了一种新的检索增强生成（RAG）框架。GNN-RAG首先利用GNN在密集的KG子图上进行推理，以检索与给定问题相关的答案候选和最短推理路径。然后，将这些路径转化为文本，并与LLM结合使用RAG进行问题答案的生成。该方法在两个广泛使用的KGQA基准数据集（WebQSP和CWQ）上实现了最先进的性能，特别是在多跳和多实体问题上，超越了现有的GPT-4性能，并且使用了一个70亿参数的调优LLM。此外，GNN-RAG通过增强检索（RA）技术进一步提升了KGQA的性能，该技术结合了GNN和LLM的检索方法。实验结果表明，GNN-RAG在不增加额外LLM调用的情况下，提高了KGQA的性能，并且在使用70亿参数的LLM时，与GPT-4的性能相匹敌或超越。 观点 现有方案 实验数据 Case Study
-
使用图神经网络（GNN）重排来改进 RAG
标题 https://arxiv.org/pdf/2405.18414v1 总结 本研究提出了一种基于图神经网络（GNN）的重排器G-RAG，用于改善基于检索增强的生成（RAG）系统的开放领域问答（ODQA）性能，通过利用文档间的隐含连接和抽象意义表示（AMR）图来增强文档重排。 摘要 本文首先介绍了RAG系统在开放领域问答（ODQA）中的应用，指出尽管RAG系统在提取相关文档方面取得了进展，但它未能充分利用文档间的连接。为了解决这个问题，研究者们提出了一种基于图神经网络的重排器G-RAG，它通过构建文档图和利用AMR图的语义信息来改善文档的重排。G-RAG的方法是首先为每个问题-文档对生成AMR图，然后在这些图中建立文档间的连接，最后使用图神经网络对文档进行重排。该研究还提出了新的评估指标，以更公平地处理排名时的平局问题。实验结果表明，G-RAG在多个数据集上的表现优于现有的最佳方法，并且具有更小的计算足迹。此外，研究人员还评估了大型语言模型PaLM 2作为重排器的性能，发现即使是大型预训练语言模型，也无法达到G-RAG的性能水平。 观点 实验数据
-
HippoRAG: 基于神经生理理论的长期记忆框架
标题 HippoRAG: Neurobiologically InspiredLong-Term Memory for Large Language Models 总结 本研究论文提出了一种基于神经生理理论的长期记忆框架 HippoRAG，旨在帮助大型语言模型（LLMs）更有效地整合和检索新知识。 摘要 HippoRAG 是一个受哺乳动物海马索引理论启发的检索框架，用于增强大型语言模型（LLMs）的长期记忆能力。该框架模仿人脑中大脑皮层和海马的不同角色，通过结合 LLMs、知识图谱（KG）和个性化页面排名（Personalized PageRank）算法，实现了对新经验的更深入和高效的知识整合。研究者们将 HippoRAG 与现有的检索增强生成（RAG）方法进行了比较，在多跳问答（QA）任务上展示了显著的性能提升，单步检索的 HippoRAG…
-
RaFe: Ranking Feedback Improves Query Rewriting for RAG
标题 RaFe: Ranking Feedback Improves Query Rewriting for RAG 总结 本网页主要介绍了一种名为RaFe的查询重写框架，用于提高基于大型语言模型（LLMs）的检索增强生成（RAG）系统在开放领域问答（ODQA）任务中的性能。 摘要 RaFe框架通过利用公开可用的重排器提供反馈，有效地训练查询重写模型，而不需要额外的标注数据。该框架包括两个阶段：初始监督微调（SFT）和反馈训练。在SFT阶段，模型通过标准的监督微调获得重写能力。在反馈训练阶段，利用重排器的排名得分作为自然的反馈信号，通过离线和在线的强化学习（RL）方法进行训练。实验结果表明，RaFe在多个跨语言数据集上的表现优于基elines，特别是在EXPAND-Ranked设置下，其在问答任务中显示出显著的改进。此外，研究还探讨了不同数量的查询重写对RAG系统性能的影响，并指出在实际应用中，2-3个重写可能是最佳的平衡点。 观点 Why In this paper we attempt…
-
AGRAME: Any-Granularity Ranking with Multi-Vector Embeddings
标题 AGRAME: Any-Granularity Ranking with Multi-Vector Embeddings 总结 本研究引入了AGRAME（Any-Granularity Ranking with Multi-Vector Embeddings），一种利用多向量嵌入进行任意粒度排名的方法，旨在通过编码级别的灵活性，实现从全文到句子甚至是命题层面的排名。 摘要 AGRAME是一个针对不同粒度排名的方法，它通过在单一的编码级别上使用多向量嵌入技术，能够在更细的粒度上进行排名，如句子级别或命题级别。研究团队包括来自伊利诺伊大学厄巴纳-香槟分校、苹果公司和Adobe公司的研究人员。他们提出了一种多粒度对比损失训练方法，用于提高基于ColBERTv2的多向量模型在更细粒度的排名任务中的性能。实验结果表明，AGRAME在自然问题解答、开放领域问题答erme、跨领域问题答erme以及命题级别的引用添加等多个任务中都表现出色，显著提高了在不同粒度上的排名性能。此外，研究还提出了PROPCITE方法，用于在生成的文本中添加引用，该方法通过使用命题作为查询来选择相关的上下文进行引用，在生成的文本中添加引用，并在检索增强的生成中表现出色。 观点 Why 贡献 假设验证 现有…
-
RE-Adapt: LLM 的逆向工程适配器
标题 RE-Adapt: Reverse Engineered Adaptation of Large Language Models 总结 本网页介绍了一种名为 RE-Adapt 的方法，用于在不遗忘原有指令调优（instruction-tuning）的情况下，将大型语言模型（LLMs）适应新领域。 摘要 本文提出了一种名为 RE-Adapt 的方法，它通过逆向工程的方式提取了指令调优模型与其基础预训练模型之间的差异，形成了一个适配器（RE-Adapter）。这个适配器可以在不影响原有指令跟随能力的前提下，使预训练模型适应新领域的数据。RE-Adapt 还有一种低秩变体 LoRE-Adapt，它通过截断奇异值分解（SVD）来减少参数数量，同时保持性能。研究者们通过在多个流行的大型语言模型和数据集上进行实验，证明了 RE-Adapt…