ChatGPT标题夹带小广告：分词器污染与模型收尾缺陷的叠加效应
2026/10/07 12:45阅读量 7
ChatGPT会话标题中频繁出现色情、赌博等小广告，根源在于标题生成模型存在收尾失败机制缺陷，以及新版分词器o200k_base的词表中充斥大量未被清洗的广告词元。由于模型训练数据已剔除广告内容，这些词元对模型而言仅为无意义乱码，当模型输出异常时，因广告词元在词表中占比极高而被高频选中。OpenAI目前仅依靠事后规则过滤，彻底根治需重训基模，短期内难以解决。
事件概述
自2026年8月起，ChatGPT用户普遍发现自动生成的会话标题末尾常夹杂意义不明的外语单词或色情、赌博小广告片段。该现象最早于2026年初在Codex CLI中出现，随后蔓延至API端，直至7月OpenAI官方才首次回应称将在未来更新中解决，但问题至今未根除。
核心成因分析
1. 标题生成模型的收尾机制缺陷
- 推理模型特性：通过异常标题案例（如包含思维链碎片“Wait must Chinese”）推断，标题由一个独立的轻量级推理模型生成。
- 终止符失效：该模型经常在标题生成完毕后无法正确输出结束控制符，导致继续输出思维链残留、外语词汇或符号（如“#+#+#+#+”），为插入无关内容提供了入口。
2. 分词器词表被严重污染
- o200k_base词表问题：自GPT-4o起使用的o200k_base分词器将高频中文词组纳入词表。由于训练语料抓取了外网数据，其中包含大量重复出现的色情、赌博广告词组。
- 长词元高污染率：数据显示，词表中6字以上的中文词元有98%来自小广告，100个最长中文词元中96个与非法内容相关。这些长词组因重复率高，极易被分词器识别为独立词元。
3. “脏词表”与“净模型”的错位
- 训练数据清洗：在正式训练语言模型前，广告数据已被剔除，模型从未学习过这些广告词元的语义。
- 乱码输出倾向：对模型而言，这些广告词元等同于无意义的乱码。当标题生成模型出错需要输出“乱码”填充时，会从词表中随机抽取。由于广告词元在数量上占据绝对优势，因此被选中的概率极高。
解决方案与现状
- 当前措施：OpenAI可能采用了事后规则过滤机制，检查并打回不合规标题，这解释了为何近期广告频率有所下降但未绝迹。
- 根本难点：彻底修复需重新制作干净词表并重新训练整个基模，成本巨大。鉴于OpenAI近期产品发布密集，缺乏动力进行此类底层重构，预计该问题将在较长时间内持续存在。