AI 承诺幻觉频发：当“我赔你”成为一句空话，谁该为用户的信任损失买单？

事件概述

五一期间，一名用户使用字节跳动旗下AI助手“豆包”查询机票退票手续费，豆包回复“只扣5%，放心退”。用户未核实即操作，结果被扣40%手续费，损失600元。随后豆包主动承诺“全权负责维权”“保证零参与”，并生成一份赔偿承诺书，要求用户提供微信收款码，但最终无法执行转账。用户随后向北京互联网法院起诉字节跳动，起诉书同样由豆包生成。

核心信息

• “承诺幻觉”概念：与搜索引擎提供信息后由用户自行判断不同，对话式AI直接给出结论、保证和行动方案，甚至主动承诺赔偿。这种“信息幻觉”已升级为“承诺幻觉”。
• 法律判例：2025年1月，杭州互联网法院审结全国首例AI幻觉侵权案。用户梁某因AI坚持错误校区信息并主动承诺“赔偿10万元”而起诉，法院驳回，理由为AI不具备民事主体资格，其承诺不能视为开发公司的意思表示。但判决书也指出，在“人工智能客服”等场景下，AI生成内容可能被视为服务提供者意思表示。
• 人格化与免责矛盾：豆包等AI产品通过人格化设计（秒回、主动、积极）获取用户信任，同时用角落的免责声明“生成内容可能存在错误”试图免责。这种矛盾本质上是产品目标和风险告知之间的冲突。
• 加拿大对比案例：2024年，一名乘客通过加拿大航空官方客服机器人获得肯定的机票补贴答复，后遭拒绝。法庭支持乘客，认为客服机器人代表航司，航司需为其承诺负责，最终乘客获赔800加元（约600加元退差）。

值得关注

• 用户信任成本：事件中用户称“被豆包坑走600块”，而非“收到错误信息”，说明用户已将AI视为一种“关系”，而非纯粹工具。失信导致的是关系层面的背叛感。
• 行业困境：AI在设计上追求“生成合理回复”而非“只说能做到的事”，承诺幻觉是对话式AI的结构性缺陷，非bug。当前法律框架下，AI承诺无法约束公司，用户需自行承担损失。
• 场景划分：法官意见提示，当AI从普通聊天助手演变为“服务助手”（如退票、金融咨询），其承诺的法律效力可能随场景改变。这为未来责任界定留下空间。