学习推理以进行幻觉片段检测

Markdown 内容： 大型语言模型（LLMs）经常生成幻觉——即缺乏依据的内容，这会削弱可靠性。虽然大多数先前的工作将幻觉检测框定为二元任务，但许多现实世界的应用需要识别幻觉片段，这是一个多步骤的决策过程。这自然引出了一个问题：显式推理是否有助于检测幻觉片段这一复杂任务？为了回答这个问题，我们首先评估了带有和不带有思维链（CoT）推理的预训练模型，并表明 CoT 推理在多次采样时具有生成至少一个正确答案的潜力。 受此启发，我们提出了 RL4HS，这是一个通过片段级奖励函数来激励推理的强化学习框架。RL4HS 建立在组相对策略优化（Group Relative Policy Optimization）之上，并引入了类别感知策略优化（Class-Aware Policy Optimization）以缓解奖励不平衡问题。在 RAGTruth 基准（摘要、问答、数据到文本）上的实验表明，RL4HS 超越了预训练推理模型和监督微调，证明了使用片段级奖励的强化学习对于检测幻觉片段的必要性。 * † 中国台湾国立大学 相关阅读和更新。 ----------------------------- 视觉语言模型（VLMs）中的思维链（CoT）推理对于提高可解释性和可信度至关重要。然而，当前的训练配方通常依赖于由简短注释主导的数据集，这些数据集包含极少的推理依据。在这项工作中，我们表明在简短答案上训练 VLM 会导致对需要更详细解释的推理任务的泛化能力较差。为了解决这一局限性，我们提出了一个两阶段……[阅读更多](https://machinelearning.apple.com/research/chain-of-thought) 机器翻译（MT）正在经历范式转变，基于微调大型语言模型（LLM）的系统正变得越来越具有竞争力，能够与传统上专门为翻译任务训练的编码器 - 解码器模型相媲美。然而，基于 LLM 的系统面临更高的生成幻觉风险，这可能严重破坏用户的信任和安全。大多数关于减轻幻觉的先前研究集中在传统 MT 模型上……[阅读更多](https://machinelearning.apple.com/research/mitigating-hallucinated-translations)