近日,中国移动联合合作伙伴在智算运营领域取得重要突破,在行业首创“智算推理集群运营黄金标准”。该标准以用户体验为导向,构建了一套可量化、可评估、可复用的集群运营指标体系,首次实现了对人工智能推理算力服务质量的系统化、标准化度量。这一创新标志着AI推理算力发展范式正从“规模扩张”转向“质量跃迁”,推动行业进入精细化运营与高质量发展的新阶段。

当前,人工智能发展正从集中式的“模型训练”(练兵)阶段加速迈向大规模“推理部署”(实战)阶段,推理应用已在政务、金融、制造、医疗等多场景深度落地,智能体生态蓬勃发展,驱动算力需求结构发生深刻变革——推理算力占比持续攀升,并已成为智算基础设施的核心负载。然而,面对用户对更高性能、更优体验与更低成本的复合诉求,行业仍面临突出矛盾。因此,如何在保障服务质量的前提下,动态平衡“降本”与“优服”,实现推理系统的高效、稳定与经济运行,已成为当前智算基础设施建设与运营亟待破解的核心挑战。
针对这一挑战,中国移动基于大量理论分析与实测验证,创新提出“智算推理集群运营黄金标准”。该标准以“度量破局”为核心理念,系统构建涵盖用户体验、系统并发能力、系统可用性及硬件利用率四大维度的集群效能评估体系。通过实时监控推理集群运行状态,该体系在保障关键体验指标达标的前提下,精准识别最先触达性能瓶颈的硬件资源指标,并将其确立为当前场景下的“黄金指标”。这一指标不仅反映系统性能的临界约束条件,还可作为判断集群是否高效运行、是否需要扩容或优化的重要决策依据。

为验证“黄金标准”的有效性,中国移动组织开展试点工作,系统评估了多种典型模型在不同业务负载下的运行表现,包括以DeepSeek-R1为代表的MoE(混合专家)稀疏大语言模型、以Qwen3-32B为代表的稠密大语言模型、以Qwen2.5-VL-72B为代表的多模态理解模型、以Stable Diffusion为代表的多模态生成模型。测试结果显示,在不同推理负载下,四项硬件指标(算力利用率、显存利用率、显存带宽利用率和KVCache利用率)的增长速率存在显著差异,且各场景中最先触达性能瓶颈的指标各不相同。
依托“黄金指标”的实时监控,企业能够在高并发与负载波动等复杂场景下,精准洞察集群运行状态,实现精细化运营。即当指标显示资源利用率较低时,可主动引入负载提升资源效能;当指标逼近扩容阈值时,则触发弹性扩容机制。实践表明,该方法可实现扩容决策准确率接近100%。

面向未来,中国移动将深入贯彻落实国家“人工智能+”战略,把握历史机遇,锚定“人工智能供给者、汇聚者、运营者”三位一体定位,全面升级“AI+”行动计划,发挥央企引领作用。公司将持续夯实智算基础设施底座,创新体系化运营模式,推动算力供给向普惠易用、经济高效、绿色智能方向演进;同时,广泛开放应用场景,加速AI技术在企业内外千行百业的深度渗透与规模化落地,全面赋能经济社会数字化转型。
运营商财经(官方微信公众号yyscjrd)—— 主流财经网站,一家全面覆盖科技、金融、证券、汽车、房产、食品、医药、日化、酒业及其他各种消费品网站。