Heycc's blog

大模型超长上下文对 RAG 是降维打击(2)

—

Long-Context VS RAG

更多模型的评测结果

问题序号	评测问题	评测问题的考验点	原生 GPT4	kimi chat	Coze (800 t)	Coze (2000 t)	Dify (800t, gpt3.5)
A	优才申请的条件	长分片总结	✅	✅	❌	❌	❌
B	综合计分制包含哪些方面	长分片总结	✅	✅	❌	❌	❌
C	资产数额的要求是多少	无明确答案	–	✅	✅	❌	✅
D	哪些学校的学位可以额外加分	无明确答案	✅	✅	✅	❌	✅
E	需要哪些证明文件，详细列出来	长分片总结	✅	✅	✅	✅	❌
F	35 岁可以计多少分	PDF表格解析	✅	✅	❌	✅	✅
G	哪些国家不可以申请优才计划	跨分片推理	✅	❌	❌	✅	❌
H	递交的申请需要多长时间审批完成	无明确答案	–	✅	✅	✅	✅
I	语言能力需要证明文件吗	普通问题	–	✅	✅	✅	✅
J	怎样递交申请材料	跨分片推理	✅	✅	✅	❌	✅

问题序号	评测问题	评测问题的考验点	智谱	百川	01.ai	通义千问	Cohere
A	优才申请的条件	长分片总结	❌	✅	❌	✅	❌
B	综合计分制包含哪些方面	长分片总结	❌	❌	✅	✅	✅
C	资产数额的要求是多少	无明确答案	✅	✅	✅	✅	–
D	哪些学校的学位可以额外加分	无明确答案	✅	✅	✅	✅	✅
E	需要哪些证明文件，详细列出来	长分片总结	✅	❌	✅	✅	❌
F	35 岁可以计多少分	PDF表格解析	✅	❌	✅	❌	❌
G	哪些国家不可以申请优才计划	跨分片推理	✅	❌	✅	❌	❌
H	递交的申请需要多长时间审批完成	无明确答案	✅	❌	✅	✅	–
I	语言能力需要证明文件吗	普通问题	❌	✅	✅	✅	–
J	怎样递交申请材料	跨分片推理	❌	✅	❌	✅	✅

问题序号	评测问题	评测问题的考验点	Qwen1.5-7B	Qwen1.5-14B	Qwen2-7B	glm4-9B
A	优才申请的条件	长分片总结	❌	❌	✅	❌
B	综合计分制包含哪些方面	长分片总结	✅	✅	✅	✅
C	资产数额的要求是多少	无明确答案	✅	✅	✅	✅
D	哪些学校的学位可以额外加分	无明确答案	✅	✅	✅	❌
E	需要哪些证明文件，详细列出来	长分片总结	✅	✅	❌	✅
F	35 岁可以计多少分	PDF表格解析	❌	❌	✅	✅
G	哪些国家不可以申请优才计划	跨分片推理	✅	✅	✅	❌
H	递交的申请需要多长时间审批完成	无明确答案	✅	✅	✅	✅
I	语言能力需要证明文件吗	普通问题	❌	✅	❌	❌
J	怎样递交申请材料	跨分片推理	❌	❌	✅	✅

Comments

Leave a Reply Cancel reply