ColBERT Retrieval and Ensemble Response Scoring for Language Model Question Answering. 基于 ColBERT 检索和集成响应评分的语言模型问答

摘要

• 目的: 提升小型语言模型 Phi-2 和 Falcon-7B 在特定领域（尤其是电信领域）问答任务中的表现。
• 贡献: 利用 ColBERT 开发了增强型检索生成（RAG）管道进行上下文检索，并实施了集成评分系统来评估回答。
• 实验结果: 在私有评估数据集上，Phi-2 和 Falcon-7B 的准确率分别达到了81.9%和57.3%，显著超越了以往的基准。

细节

• 对 Phi-2 做了 LoRA Fine-tue，目的是提升输出格式指令遵循能力，和基于 Context 的推理问答能力
• 对简写的专业术语做了展开
• 使用 ColBERT 召回方案

数据指标

RAG 流程中 Chunk Size 大小和 TopK 对最终准确率的影响

原文

https://arxiv.org/pdf/2408.10808