端侧AI的下一站:从“小”机器人到端边大模型的落地挑战

2026/09/03 13:56阅读量 2

Hugging Face旗下Pollen Robotics发布的开源双足机器人Microduck引发关注,标志着AI正从云端模型走向实体设备。然而,端侧AI要从简单的感知交互进化为具备复杂推理能力的智能体,核心瓶颈在于能否在低功耗、低延迟和有限成本下运行大模型。后摩智能等厂商通过存算一体架构芯片(如M50),已在联想AI主机等设备中实现百亿参数级大模型的本地离线推理,验证了端边大模型落地的可行性。

事件概述

近期,Hugging Face旗下Pollen Robotics发布的开源双足机器人Microduck引发行业广泛关注。这款售价399美元、重约800克的机器人具备行走、抓取及摔倒自起等功能,并支持开发者在仿真环境中训练策略后部署至真机。其走红不仅因成本低廉,更释放出一个关键信号:AI正在从屏幕内的云端模型,转向具备感知、行动和互动能力的实体设备。

核心挑战:端边大模型的落地难题

随着AI进入真实世界,端侧应用面临的具体问题包括本地响应速度、离线运行能力、隐私数据保护以及功耗散热限制。当前国内端侧AI多集中于语音唤醒、图像识别等小模型或固定任务场景。若要使AI PC、机器人、家庭终端等设备成为真正的“智能体”,必须在本地运行具备上下文理解、长期记忆和多模态理解能力的大模型。

将大模型下沉至终端并非简单移植,需在有限空间、功耗和成本内平衡推理性能。核心难点在于解决传统架构中的“存储墙”和“功耗墙”问题,即减少数据在存储与计算单元间的搬运能耗,提升能效比。

技术路径与产业实践

针对上述挑战,后摩智能提出端边大模型推理方案,其核心产品后摩漫界 M50基于存算一体架构设计,旨在降低大模型在端边设备的运行功耗。

  • 硬件规格:典型功耗约10W,提供160TOPS@INT8及100TFLOPS@bFP16算力,配套M.2卡、PCIe加速卡及计算盒子等多种形态。
  • 落地案例
    • 联想 AI 主机 P7:搭载M50芯片,在约300克机身内支持最高1220亿参数本地大模型运行,无网环境下推理速度达50 Tokens/s,定位为“口袋里的本地AI工作站”。
    • 长城 N90 Pro 笔记本:同样搭载M50,支持35B大模型离线运行,应用于智能文档写作、离线问答及会议记录等办公场景。
    • 中国移动生态:展示了AI公文写作、代码辅助、会议助手及安防视频超分等端边大模型本地部署方案。

结论与展望

Microduck的出现揭示了端侧AI载体的多元化趋势。未来端侧AI的发展将呈现两极并行:一方面依靠小模型让设备更轻便、廉价;另一方面依赖端边大模型赋予设备复杂的自主决策能力。支撑这一演进的关键在于芯片架构的创新,特别是存算一体技术对能效的提升,决定了大模型能否真正规模化部署于各类边缘终端。

准备好启动您的定制项目了吗?

现在咨询,即可获得免费的业务梳理与技术架构建议方案。