中国信通院发布AI Infra运维领域首个评测基准，覆盖5款国产芯片

事件概述

6月29日，在中国信通院、中国人工智能产业发展联盟等联合举办的2026“众智”大模型开放智算生态协同高级别研讨会上，中国信通院副院长魏亮正式发布AISHPerf人工智能软硬件基准体系3.0版本。该版本包含两项AI Infra领域核心评测基准：AISHPerf-智算运维智能体评测基准和AISHPerf-算子生成智能体评测基准，由无问芯穹及清华大学团队作为重点技术支持方参与建设。

核心信息

• 智算运维智能体评测基准：这是首个面向AI基础设施的运维智能体评测基准。它以无问芯穹沉淀的近百亿条真实运维数据为底座，经脱敏和精细标注后，提炼出103条高保真评测用例。评测覆盖5大技术栈、44种问题现象、22个细分故障领域、3种难度层级，以及6种国内外芯片（其中5种为国产芯片，包括天数、壁仞、沐曦、摩尔、昇腾）。评测流程不直接指出故障根因，仅提供真实集群环境和有限现象描述，要求智能体自主探索、排查和修复，最终输出时延、Token消耗、工具调用效率等量化指标，考核端到端解决问题能力。
• 算子生成智能体评测基准：跳出“模型能否生成可运行GPU算子”的基础维度，将重心锚定在“模型生成的算子能否在真实量化推理部署中替代现有算子”的工程可部署性上。
• 意义：该基准填补了国产智算运维智能体评测领域的空白，为智算集群运维标准化提供了统一的能力参照框架。未来计划结合无问芯穹的真实运维数据持续丰富国产芯片评测用例，推动国产算力集群从“能用”迈向“好用、高效、稳产”。
• 产业影响：无问芯穹已在自有AI基础设施中部署运维智能体，使工单平均处理时间缩短50%，关键故障处理效率提升约6倍，综合运维成本下降约30%。该基准将指引AI基础设施向自主自治的“Token工厂”升级。

值得关注

• 中国信通院将持续迭代AISHPerf-智算运维智能体评测基准，扩大场景覆盖和数据集规模，推动其成为行业公认的AI集群运维智能体能力评估公共基线。
• 开源地址：https://gitee.com/aishperf-caict/aishperf_openness