• 大模型超长上下文对 RAG 是降维打击(2)

    大模型超长上下文对 RAG 是降维打击(2)

    更多模型的评测结果 问题序号 评测问题 评测问题的考验点 原生 GPT4 kimi chat Coze (800…

  • 大模型超长上下文对 RAG 是降维打击

    大模型超长上下文对 RAG 是降维打击

    前言 越来越多的大模型支持了超长的上下文 (context length),例如 Google gemini 一发布就支持 2M。超长上下文的特性大大方便了文档问答应用的开发。而 RAG 作为文档问答的解决方案,是否会被超长上下文…

  • Coze bot statistics (July-W4)

    Coze bot statistics (July-W4)

    Coze bot statistics (July-W4) 排名 智能体名称 类别 用户数 对话数 用户数环比上周…

  • Coze bot 数据观察(July-W4)

    Coze bot 数据观察(July-W4)

    Coze bot 数据观察(July-W4) 排名 智能体名称 类别 用户数 对话数 用户数环比上周 对话数环比上周1…

  • 百度 Agent 数据观察(Jul-W4)

    百度 Agent 数据观察(Jul-W4)

    百度 Agent 数据(Jul-W4) 排名 智能体名称 类别 用户数 对话数 用户数环比上周 对话数环比上周1…

  • 解码RAG:智谱 RAG 技术的探索与实践

    解码RAG:智谱 RAG 技术的探索与实践

    产品方案 知识运营层面的产品特性包括:知识类型管理、切片管理、索引管理、数据运营 知识问答过程的产品特性包括:历史消息、输入提示、原文索引、图文混排、原文查看 产品目标用户分类:个人使用、企业对内赋能、企业 toC 提供服务 技术全景图 RAG技术挑战和方案 Embedding 针对前者,我们采用文章结构切片以及…

  • 爬取 Coze bot store 的使用量数据

    爬取 Coze bot store 的使用量数据

    对 Coze 上的 bot 的使用量数据有兴趣,想爬取下来分析热门 bot。虽然之前没做过这类爬虫,但好在有 ChatGPT,直接提问,多提几次,就能写出可用的爬虫了 Coze bot store…

  • GNN-RAG: 用于 LLM 推理的图神经检索

    GNN-RAG: 用于 LLM 推理的图神经检索

    标题 https://arxiv.org/pdf/2405.20139v1 总结 GNN-RAG 是一种结合了大型语言模型(LLMs)和图神经网络(GNNs)的检索增强生成(RAG)框架,用于知识图谱问答(KGQA)任务,通过GNN在密集的KG子图上进行推理来提取答案候选和推理路径,然后将这些信息转化为文本并输入给LLM进行RAG,以提高复杂问题的答题准确性和效率。 摘要 本网页介绍了一种名为GNN-RAG的知识图谱问答(KGQA)方法,该方法通过结合图神经网络(GNNs)和大型语言模型(LLMs)的优势,提出了一种新的检索增强生成(RAG)框架。GNN-RAG首先利用GNN在密集的KG子图上进行推理,以检索与给定问题相关的答案候选和最短推理路径。然后,将这些路径转化为文本,并与LLM结合使用RAG进行问题答案的生成。该方法在两个广泛使用的KGQA基准数据集(WebQSP和CWQ)上实现了最先进的性能,特别是在多跳和多实体问题上,超越了现有的GPT-4性能,并且使用了一个70亿参数的调优LLM。此外,GNN-RAG通过增强检索(RA)技术进一步提升了KGQA的性能,该技术结合了GNN和LLM的检索方法。实验结果表明,GNN-RAG在不增加额外LLM调用的情况下,提高了KGQA的性能,并且在使用70亿参数的LLM时,与GPT-4的性能相匹敌或超越。 观点 现有方案 实验数据…

  • 使用图神经网络(GNN)重排来改进 RAG

    使用图神经网络(GNN)重排来改进 RAG

    标题 https://arxiv.org/pdf/2405.18414v1 总结 本研究提出了一种基于图神经网络(GNN)的重排器G-RAG,用于改善基于检索增强的生成(RAG)系统的开放领域问答(ODQA)性能,通过利用文档间的隐含连接和抽象意义表示(AMR)图来增强文档重排。 摘要 本文首先介绍了RAG系统在开放领域问答(ODQA)中的应用,指出尽管RAG系统在提取相关文档方面取得了进展,但它未能充分利用文档间的连接。为了解决这个问题,研究者们提出了一种基于图神经网络的重排器G-RAG,它通过构建文档图和利用AMR图的语义信息来改善文档的重排。G-RAG的方法是首先为每个问题-文档对生成AMR图,然后在这些图中建立文档间的连接,最后使用图神经网络对文档进行重排。该研究还提出了新的评估指标,以更公平地处理排名时的平局问题。实验结果表明,G-RAG在多个数据集上的表现优于现有的最佳方法,并且具有更小的计算足迹。此外,研究人员还评估了大型语言模型PaLM 2作为重排器的性能,发现即使是大型预训练语言模型,也无法达到G-RAG的性能水平。 观点 实验数据