一句话介绍

主要介绍了一种使用检索增强生成（RAG）技术来减少生成性人工智能（GenAI）中幻觉现象的方法，并在工作流程 (workflow) 生成任务中实际应用了这种方法。

by heycc

业务场景

把用户的自然语言转换成 json 结构化的 workflow。ServiceNow 面对的 workflow 是 ITSM、HR、财经等企业内的信息化流程

为什么要训练

把自然语言转换为 Code 或者 SQL 已经非常普遍了，但是在 ServiceNow 的业务场景下，需要把自然语言转换为企业内 specific 的 workflow，涉及指定 table、step 名称，还需要产生 json 结构的 workflow 输出。所以需要 fine-tune retrieval 和 LLM 模型

基于什么模型训练

Retrieval 模型：某个基于 SentenceTransformer 框架的模型 出于部署成本考虑，LLM 模型选择 7B。

retrieval 模型更小，可以基于 CPU 部署

评测结果如何

召回率评测：基础召回模型，即使选择不同的参数大小，召回率基本不变；

精调后的模型，叠加多种采样策略后，整体召回率显著优于基础模型