AI时代重读《失控》：预言了复杂系统，却错判了权力结构

事件概述

凯文·凯利于1994年出版的《失控》在AI时代迎来第三次阅读高峰。该书核心观点并非机器反叛，而是认为复杂技术系统会从机械中央控制转向生物式自组织，想获得系统适应力必须交出精确控制。这一论断在大模型身上得到验证：工程师提供数据、算力和目标函数，最终涌现的能力无人能逐行解释。

被验证的部分

• 模型是“长出来”的：传统软件是逐行写出来的，行为可追踪；大模型通过训练涌现能力，其内部运行机制无法被任何单一个体完整理解。这与《失控》对复杂系统的描述一致：系统越复杂，越不可能被完全掌握。
• 自组织与涌现：大模型的不可解释性源于数千亿参数的统计复杂度，而非拥有生命意志。这一区别至关重要——若归因于“生命性”，则容易放弃问责；若承认是统计复杂度，则可通过工程和制度推进可解释性研究。

错判的权力结构

《失控》的去中心化世界观符合1990年代互联网特征（开源、P2P、维基等），但生成式AI时代的产业权力走向了相反方向：

• 训练前沿模型需要高度集中的算力、资本和数据中心，资本集中度极高。
• 产品内部结构越来越分布式，但生产智能的权力却集中在少数巨型公司手中。
• 凯利本人也承认，他真正担心的并非AI失控，而是AI的归属权问题——开放还是封闭，属于公众还是仅被公司所有。

管理与治理的启示

• 当系统是“长出来”的，管理方式需从规格书、需求评审转向目标设定、评测覆盖和护栏约束。
• 核心控制点包括：目标函数（决定系统走向）、评测体系（测量能力与退化）、可观测性（事后归因比事前设计更重要）。
• 尊重错误：追求错误廉价且可被发现，而非零故障。不求单一最优，保留多个互相牵制的目标。
• 面对复杂系统，不能因无法完全理解就放弃问责。人类不完整理解心智，但仍建立了法律、审计和责任制度；同样，需建立行为约束与追责机制，确保系统外部行为可被中断。

值得关注

《失控》最具价值的不是预言清单，而是它提出的那个交易：每一次让系统更强大的同时，都在让它更难被解释。问题的关键在于合同的另一半——问责、验证、可中断——是否被一同写进规则中。