科大讯飞发布星火Token Factory：打造企业级AI模型智能路由与治理底座
2026/07/23 09:55阅读量 5
科大讯飞于2026年7月19日正式推出星火Token Factory，定位企业级AI模型智能路由与治理平台，涵盖统一接入、智能路由调度、成本优化、安全合规等能力，支持国产昇腾硬件，推理效率相比开源框架提升约5倍，首Token延迟降低30%–40%，旨在帮助企业实现大模型规模化运营的可管可控。
事件概述
科大讯飞于2026年7月19日发布星火Token Factory，这是一款面向企业的大模型智能路由与治理平台，旨在解决多模型管理、成本攀升、安全治理等规模化落地难题。
核心能力
智能路由
- 基于Prompt长短、规则预置、对话轮次等多维度特征，将请求划分为L1至L3等级，并综合质量、成本、延迟、可用性、安全五个因子自动匹配最适合的模型资源。
- 智能路由决策平均延迟控制在100毫秒以内。
推理引擎优化（国产化私有部署）
- 围绕昇腾硬件对主流开源大模型进行端到端优化，包括显存压缩、算子融合、分布式KV Cache管理、缓存路由、并行解码等。
- 实测相比开源vLLM-Ascend框架，推理效率提升约5倍，首Token延迟降低30%–40%。
安全治理
- 三权分立：管理、操作、审计权限相互独立。
- 全链路审计日志不可篡改，覆盖数据访问、权限变更、模型调用等六大类操作，满足等保要求。
- 敏感信息（身份证、手机号、银行卡、财务、薪资等）分级路由，确保敏感数据不出域。
成本归因与运营观测
- 提供端到端全链路日志，支持Token消耗统计、路由决策记录、成本归因分析，配合预算管理与可视化报表，实现AI应用从黑盒到透明运营。
背景与意义
企业大模型应用正从单点试点走向多业务协同，面对模型种类增多、调用成本攀升、稳定性与安全治理滞后等问题，星火Token Factory作为统一中间层，形成“接入—治理—观测—运营”闭环，标志着企业AI建设从模型能力竞争转向基础设施与运营效率竞争。