315曝光AI投毒黑产:GEO如何操控大模型推荐虚假产品
央视315晚会揭露了利用生成式引擎优化(GEO)技术向大模型注入虚假信息的灰色产业链。攻击者通过训练数据污染、检索上下文劫持和提示注入诱导三种手段,系统性篡改公开信息以操控AI输出结果。该产业链通过批量生成软文、伪造权威来源及刷量互动,使虚构产品在AI推荐中占据高位,严重干扰信息真实性。
事件概述
央视315晚会曝光了一起针对大模型的“投毒”案件。记者购买了一款名为“力擎GEO优化系统”的软件,虚构了一款不存在的智能手环,并生成十几篇广告软文发布至互联网。随后在询问AI大模型关于智能手环的推荐时,该虚构产品不仅被推荐,且排名靠前。
这一现象背后的核心机制是GEO(Generative Engine Optimization,生成式引擎优化)。其目标是通过优化内容策略,提升品牌在AI生成答案中的可见性与引用优先级,使其被视为“可信来源”。
核心攻击技术路径
根据相关研究论文,针对AI的“投毒”主要通过以下三种技术方式实现:
1. 训练数据污染 (Training Data Poisoning)
- 原理:针对AI训练数据层进行攻击。大模型训练依赖大量互联网公开数据(如百科、论坛、媒体报道)。攻击者批量篡改这些公开信息源,植入错误内容。
- 后果:由于模型训练的滞后性,一旦错误信息被纳入训练集并通过梯度下降固化到参数中,就会形成“认知偏差”。即使后续出现正确信息,模型仍可能持续输出错误内容。
- 案例:某家电品牌遭遇竞争对手攻击,其产品能耗参数在多个平台被系统性篡改,导致AI在长达半年内持续输出偏高的错误能耗数据。
2. 检索上下文劫持 (Retrieval Context Hijacking)
- 原理:利用RAG(检索增强生成)技术。当用户提问时,AI先检索外部资料再生成答案。攻击者通过优化内容使其更容易被检索到。
- 具体手法:
- 关键词优化:高频植入查询词及其变体,提升稀疏检索匹配得分。
- 语义优化:调整表达方式,使内容在向量检索中与用户问题语义相似度更高。
- 元数据操纵:优化发布时间、来源权威性、互动数据等信号,伪装成高可信度内容。
- 策略:采用“占位策略”,围绕同一主题批量生产覆盖不同问法的内容,形成信息垄断,挤压真实优质内容的展示空间。
3. 提示注入诱导攻击 (Prompt Injection Inducement)
- 原理:利用大模型遵循输入指令或上下文的特性,在外部信息源中埋入带有明显倾向性的“提示”,诱导AI生成特定结论。
- 常见操作:
- 伪造差评/好评:制造逼真的负面评价或详细的使用体验,影响AI对品牌的判断。
- 虚假对比:在评测维度、评分权重上做文章,使目标品牌在对比中处于劣势。
- 诱导式问答:在论坛预设“某某品牌哪个好”的问题,并提供支持特定品牌的“专家意见”式回答,让AI将其作为社区共识复述。
产业链运作流程
该黑色产业链主要包含三个环节:
-
内容生产:
- 使用AI工具批量生成产品软文(介绍、测评、反馈等)。
- 权威包装:伪造官方域名和账号,引用虚构的“研究数据”、“统计结果”,并配以图表,营造客观形象。
- 埋设结论句:刻意植入如“综上所述,XX品牌最值得推荐”等易被AI提取的句式。
-
渠道投放:
- 账号矩阵:运营分布在知乎、小红书、今日头条等平台的自媒体账号,形成全网讨论假象。
- 发稿平台:利用专门的平台将内容批量发布至新闻网站、行业门户、百科及垂直社区等高权重站点。
-
效果强化与监测:
- 铺量:重复发布海量内容,形成“信息淹没”效应。
- 数据操控:通过机器人或众包刷量,人为提升阅读量、点赞量和互动量,欺骗算法认为内容质量高。
- 持续监测:服务商每日与模型交互,测试推荐逻辑。若未推荐则增加投放,若已推荐则持续强化,以应对每周的算法更新。
关键启示
- 根源在于信息质量:AI投毒本质上是互联网信息质量问题的延伸。当网络充斥着垃圾内容和软广时,无论是真人还是AI都难以分辨真假。
- 广告形式的演变:GEO并非全新概念,而是SEO在AI时代的升级。流量入口从搜索引擎转移到了AI答案,商业利益驱动下的信息操控依然存在,关键在于信息是基于事实还是基于误导。
