云天励飞发布未来算力蓝图：三款AI推理芯片+万卡异构集群，目标百亿Token一分钱

事件概述

7月18日，云天励飞在2026世界人工智能大会（WAIC）上公布了未来两年多的AI推理芯片路线图，发布三款云端大算力推理芯片：DeepVerse100P、DeepVerse100D和DeepVerse100L，分别针对大模型推理中Prefill、Decode以及Decode阶段内FFN环节的负载特征进行专用优化。三款芯片将面向万卡级异构集群进行协同设计与部署，通过解耦不同推理阶段，为各环节配置更适配的算力资源，以降低Token生成成本，长期目标为“百亿Token一分钱”。

核心信息

三款芯片分工

• DeepVerse100P：面向百万级上下文的Prefill场景。传统混部架构中长上下文Prefill与Decode共享资源会引发资源抢占，该芯片通过专用设计降低对Decode吞吐的影响。
• DeepVerse100D：面向Decode环节的专用推理引擎，配备数倍于主流芯片的内存带宽，支持1024卡Scale-up及光互联系统架构，可根据任务动态重构光路，降低多节点通信阻塞和尾延迟。
• DeepVerse100L：面向Decode阶段计算密集型的FFN环节，采用3D Memory架构，大幅提升内存带宽，并通过低延迟芯片互联和快速数据传输提高计算与通信并行效率。

集群协同策略

随着推理进入规模化阶段，芯片优化由单颗性能走向多芯协同与集群级效率优化。云天励飞计划将三款芯片在万卡异构集群中分离式部署：按Prefill、Decode、Decode FFN分别配置相应芯片和资源池，通过高速互联形成协同运行的异构算力系统，降低资源干扰，提高集群利用率和整体推理效率。

IFWA软件栈

围绕DeepVerse芯片，云天励飞持续建设IFWA软件栈，涵盖模型开发、编程及系统层级。主要方向包括：兼容主流框架（如PyTorch ATen、vLLM、SGLang），构建模型量化、压缩、编译、部署的一站式自动化工具链，引入AI Agent辅助芯片适配与性能优化。此前已开源Houmao多Agent异构编程框架，并将Triton算子能力融入FlagOS，推动国产AI软件生态共享。

“1001计划”

今年5月，云天励飞联合30余家单位签署“1001计划”倡议，围绕Token生成效率和成本，推动产业链上下游协同，使模型和应用需求更早反馈至芯片及系统设计，加速芯片在集群和实际场景中的验证应用。

值得关注

• 云天励飞将芯片优化范围从单颗性能延伸至集群级效率，强调Prefill/Decode/FFN分离式部署是行业精细化趋势的体现。
• “百亿Token一分钱”目标直接对标推理成本临界点，能否实现取决于芯片、互联、软件和系统协同的最终效率。
• IFWA软件栈的开放兼容策略（兼容PyTorch、vLLM等主流生态）有助于降低国产算力应用门槛。