Jev创始人Diogo Almeida：RLHF导致模式坍缩，可编程AI需重构训练范式

事件概述

Typesafe公司CEO Diogo Almeida近日发布新型模型Jev，并阐述其对当前AI发展路线的批判与重构思路。Almeida认为，现有的RLHF（基于人类反馈的强化学习）和RLVR（基于可验证奖励的强化学习）路线存在根本性局限，行业亟需转向面向程序调用的“机器原生智能”。Jev作为首款大型可编程模型，旨在通过降低单次判断的成本与延迟，让智能直接嵌入软件的条件判断、排序和执行流程中。

核心观点与技术路径

1. 批判RLHF与模式坍缩
Almeida指出，RLHF导致模型出现“模式坍缩”（Mode Collapsing），即模型为了迎合人类反馈，倾向于输出概率最高或人类最想听到的回答，而非反映真实的概率分布。这种机制破坏了字符串输出的概率准确性，使得模型在决策任务中表现糟糕。相比之下，他主张模型应具备准确表达不确定性的能力，以便开发者设置阈值来决定自动执行或转人工处理。

2. 提出RLCD新范式
针对现有范式的不足，Typesafe提出了“校准决策强化学习”（RLCD, Reinforcement Learning for Calibrated Decisions）。与RLHF追求指令跟随不同，RLCD的目标是让模型参与程序循环运行，输出可直接被代码调用的结构化结果。Jev提供了三种编程原语：

• Choice：对应枚举选择。
• Score：对应评分排序。
• Newel：对应概率判断。
  这些原语使智能能够直接进入软件的控制流，而非仅作为文本补全工具。

3. 数据策略：拒绝用户数据
Almeida强调坚决不使用实时用户请求数据训练模型。理由是用户查询服从幂律分布，直接使用会导致模型过拟合当下高频场景，削弱泛化能力。相反，数据工作的重点应在于系统性寻找能力缺陷，补齐边缘情况，以支撑未来未知的软件需求。他将传统大语言模型比作UDP协议，而将Jev类比为更可靠、适合构建复杂应用的TCP协议。

4. 反对过度安全对齐
他认为当前的安全对齐机制往往与开发者的实际需求背离。在API接口层面，模型不应像聊天机器人那样进行价值判断或拒绝服务，因为这会破坏模型的通用性和可预测性。Almeida主张将能力对齐（完成用户任务）与安全对齐区分开，底层技术应保持中立，如同数据库一般不校验调用意图，由上层应用负责业务逻辑约束。

行业影响与展望

• 软件架构重构：当智能判断的成本足够低时，开发者可以在复杂推理周围安排数十次细碎的校验、路由和检查步骤，这将激活过去因成本过高而被搁置的企业数据和实时应用场景。
• Agent架构变革：现有的Coding Agent架构受限于KV Cache的复用逻辑，倾向于不断追加上下文。Almeida呼吁重新思考上下文检索与状态共享机制，推动Agent采用更成熟的软件工程方法，如任务分解和多模块协作。
• 评估体系转变：公开基准测试（如MMLU）易被刷分，无法反映真实价值。Almeida建议将模型置于实际业务流程中进行评估，关注单位成本下的智能能力（Intelligence per Dollar）及可靠性位数（Nines）的提升。