中国大模型简史01：从科研工程到产品探索的迷茫与突破

事件概述

2021年至2022年间，中国人工智能领域正处于从传统自然语言处理向大规模预训练模型转型的关键期。受OpenAI发布GPT-3及Scaling Laws（规模定律）的影响，国内研究界意识到模型规模对性能的决定性作用，纷纷启动万亿级或千亿级参数模型的研发。然而，这一时期的大模型更多被视为科研工程或基础设施，其具体应用场景尚不清晰，行业处于“知道要做，但不知道做成什么样”的探索阶段。

核心信息

1. 科研驱动的超大规模模型竞赛

• 智源研究院“悟道2.0”：2021年6月发布，参数量达1.75万亿，超越同期Google Switch Transformer（1.6万亿）和GPT-3（1750亿）。该项目由清华大学唐杰教授领衔，旨在解决超大规模稀疏模型（MoE）的训练难题，开发了FastMoE框架以优化计算效率。这标志着AI研究从实验室小规模实验转向需要庞大算力集群和数据集的系统工程。
• 清华智谱GLM-130B：2022年推出，参数量1300亿。团队公开了训练过程中遇到的Loss Spike（损失值突然上升）和训练发散等技术挑战，并开放了权重、代码及日志。同时，团队通过INT4量化技术，使该模型能在配备4张RTX 3090显卡的消费级服务器上运行，探索了降低推理成本的可行路径。

2. 产业界的差异化理解与布局

不同背景的企业基于自身优势，对大模型的价值提出了不同的构想：

• 华为“盘古”：强调从“作坊式”AI开发向“工业化”转变。田奇指出，企业常因场景不同而重复标注数据和训练模型。盘古NLP使用40TB中文文本训练，旨在提供可泛化、可复制的基础能力，减少重复劳动，适配华为云及昇腾芯片生态。
• 百度“文心ERNIE”：依托搜索业务积累的知识图谱资源，王海峰提出“知识增强”路线。2021年发布的ERNIE 3.0 Titan（2600亿参数）不仅关注模型规模，更强调将实体、关系等结构化知识融入预训练，以降低产业应用门槛。
• 智源的角色：作为新型研发机构，智源整合了北大、清华、中科院及互联网大厂资源，解决了分散研究员与集中算力之间的矛盾，成为推动基础模型研究的重要枢纽。

3. 算力限制与外部环境影响

• 出口管制升级：2022年8月至10月，美国商务部收紧对华先进计算芯片出口限制，禁止A100/H100等高算力GPU出口，并随后推出特供版A800。这使得中国团队获取顶级算力的难度增加，算力问题从单纯的“昂贵”变为“受限”。
• ChatGPT的启示：2022年11月，OpenAI发布ChatGPT Research Preview。其简单的聊天框界面展示了大模型在交互体验上的巨大潜力，让业界看到模型从后台技术走向前台应用的直接可能性。

4. 早期创业者的迷茫与试错

• MiniMax的起步：创始人闫俊杰在2021年底获得明势资本投资时，对大模型的具体形态并无明确规划。团队在缺乏ChatGPT等先例参考的情况下，凭借约300亿参数的早期模型，推出了娱乐性产品Glow（AI角色扮演聊天）。这反映了当时创业者面对技术红利时的试探性策略：利用模型“会编造”的特性，在非严肃场景中寻找落地切入点。

值得关注

• 技术范式的转移：2021年前后的中国大模型发展，核心矛盾已从算法创新转移到算力获取、数据规模和工程稳定性上。Loss Spike等训练问题的暴露，表明千亿级模型的训练已成为高风险、高成本的系统工程。
• 应用认知的滞后：尽管模型规模迅速扩大，但直到2022年底，国内主流观点仍局限于“发电厂”（公共智能供给）、“生产线”（工业化复用）或“知识载体”等基础设施视角，尚未形成如ChatGPT般的通用智能助手认知。这种认知差导致早期产品在定位上存在较大不确定性。
• 生态的分化：科研机构（智源）、硬件厂商（华为）、互联网巨头（百度）和初创公司（MiniMax）基于各自资源禀赋走出了不同路径，这种分化为后续中国大模型市场的多元化竞争奠定了基础。