AI长期任务真正的风险：不是失败，而是“一直在继续”却没被验证

事件概述

一位内容创作者尝试用 AI 编程工具 Codex 开发一个批量采集微信朋友圈随笔的小工具。项目表面上持续进展：版本号增长、代码量增加、文档变厚，但连续两天真机调试后，始终无法稳定跑完全量采集。作者意识到 AI 的“持续产出”掩盖了核心功能未验证的事实，并总结出 AI 长期任务中的关键风险——伪连续性。

核心信息

1. “伪连续性”：AI 会把推断写成历史

在另一个长期写作项目中，AI 能给出完整结论，但部分内容只是基于现有信息自行补出的推断，却被以“之前已确定”的语气呈现。作者称这种现象为“伪连续性”：AI 用部分真实历史加上长期偏好和推断补齐空白，因大部分内容合理，无证据的补全反而更容易被忽略。

有研究观察到大模型长程执行中的类似风险：当上下文中包含模型过去的错误记录时，模型后续更容易继续犯错，即 self-conditioning——模型会被自己过去的错误记录持续影响。

2. 进入企业后，推断会变成责任

案例一：某二手车平台 AI 官方客服“小瓜”告知消费者 2.87 万元车款已包含过户费和上牌费，消费者支付订金后销售人员却要求另行支付 1000 元过户费，引发投诉。

案例二：加拿大航空官网聊天机器人错误告知客户可购票后申请丧葬折扣退费，被不列颠哥伦比亚省民事解决法庭裁定需承担责任。法庭认为聊天机器人是公司网站服务的一部分，公司不能把责任推给 AI。

中消协 2026 年 8 月发布上半年投诉分析，明确提到涉及 AI 客服的投诉增多，集中于 AI 客服不实承诺、人工客服接入困难、生成内容失准。

关键区别在于：知识库提供规则和背景，但不能证明某一次具体业务决定已经发生。“帮您申请”不等于“已经答应”，“建议”不等于“审批”，“推断”不等于“事实”。企业必须定义 AI 有权把什么说成“已发生的事实”，并保证关键事实可追溯来源、状态和确认人。

3. 长期 AI 协作需要“交接单”式的状态管理

• 明确本次实际获得的材料、有效版本、有原始依据的结论和纯推断内容；
• 区分三类信息：长期稳定规则、已确认/否决的事实、本轮具体做了什么及验证情况；
• 不混淆“代码写完”“局部跑通”“真机验证通过”三种状态。

OpenAI 曾公开 Codex 连续运行约 25 小时的实验，使其保持可检查的关键不是模型能力本身，而是明确规格、阶段目标、里程碑验证以及持续更新的项目记忆。Codex 在每个里程碑后会运行测试、lint、typecheck 等验证步骤，失败先修复再进入下一步。

前沿 AI 研究机构 METR 用“任务时间跨度”评估 Agent 能独立完成多长任务，但也提醒评测任务通常更自包含、规则更明确；真实工作依赖既往对话、隐性经验、既有代码库和团队协作，很多结果无法自动打分。

值得关注

AI 能完成更长跨度的任务，不代表项目管理可以省略。长期任务最危险的状态不是彻底失败——失败会亮红灯让人停下；而是持续有产出、版本不断推进，但最关键的验证始终缺位。

一个真正可靠的长期 Agent，需要知道什么不能写成事实：规则不能冒充审批，建议不能冒充决策，申请不能冒充批准，推断不能冒充承诺。