面壁开源MiniCPM-V 4.7：35B MoE模型仅占3G内存，iPhone断网流畅运行

事件概述

面壁智能（Wallbox AI）与 OpenBMB 正式开源多模态大模型 MiniCPM-V 4.7。该系列包含两个主要版本：35B-A3B 和 1B。其中，35B-A3B 是 MiniCPM-V 系列首个混合专家（MoE）模型，凭借极低的内存占用和高推理速度，实现了在 iPhone 17 Pro Max 等移动端设备上的断网流畅运行，成为首个能在端侧不牺牲性能的开源 MoE 模型。

核心信息

1. 模型规格与性能表现

• 35B-A3B 版本：

  • 架构：总参数 35B，每次推理仅激活 3B 参数。
  • 资源占用：仅需约 3GB 内存即可在 iOS、Android 设备上流畅运行。
  • 推理速度：在 iPhone 17 Pro Max 上，优化后解码速度可达每秒 13 个 Token 以上；在 iPad Pro M4 上，配合前瞻专家调度技术，解码速度提升 5 倍。
  • 基准测试成绩：
    • 通用视觉：MMBench 91.72，MMStar 80.67。
    • 理科题：MMMU 80.22，MathVista 88.00。
    • 视频理解：Video-MME 76.40，LongVideoBench 68.90。
    • 文档理解：OmniDocBench v1.6 得分 94.24，领先同尺寸模型 12 分以上。
    • 纯文本：CMMLU 90.21，工具调用 τ2-Bench 84.65。
  • 压缩能力：视觉压缩至 16 倍时，MMBench 仅从 91.72 微降至 90.87，几乎无损精度。

• 1B 版本：

  • 规格：实际参数 1.3B，主打极小体积。
  • 能力：在 OCR、数学计算和视频理解方面处于同尺寸第一梯队，适合轻量级端侧任务如论文转 Markdown。

2. 关键技术突破

为解决端侧内存有限与模型庞大之间的矛盾，团队引入了多项优化技术：

• 前瞻专家调度（LES, Lookahead Expert Scheduling）：
  • 利用相邻层输入特征的高度相似性，提前预测下一层所需的专家。
  • 通过后台线程预取权重，使超过 80% 的所需专家在计算前准备就绪。
  • 调整计算顺序，让已加载专家先算，未加载专家同步加载，实现计算与 I/O 并行。
• 权重优化：
  • 采用逐层混合精度量化，减小专家权重体积。
  • 重新组织权重存储布局为连续格式，减少闪存零散读取，提升带宽利用率。
• 自回放微调（Self-Replay Fine-Tuning）：
  • 在微调新任务前，让模型回答原有能力问题，筛选高质量回答作为“复习材料”混入训练数据。
  • 防止灾难性遗忘，降低定制成本，无需修改模型结构或损失函数。
• 视觉压缩：沿用 LLaVA-UHD v4 的 ViT 早期压缩技术，合并视觉 Token，减少后续计算量。
• 草稿模型加速：训练配套 DSpark 草稿模型，结合 llama.cpp 等框架进行 token 预生成与批量核验，在 M5 Mac 上进一步提速 17%。

3. 生态支持与行业背景

• 平台兼容：支持 iOS、Android、HarmonyOS；适配瑞芯微、后摩、Intel、AMD、Arm 等芯片平台。
• 框架支持：推理支持 SGLang、vLLM、llama.cpp、Ollama；微调支持 SWIFT、LLaMA-Factory；量化格式涵盖 GGUF、AWQ、GPTQ、FP8。
• 市场趋势：IDC 预计 2026 年中国 AI 手机出货量达 1.47 亿台，渗透率超 53%。随着内存成本上升，低内存占用的高效模型成为厂商关注重点。MiniCPM 系列累计下载量已突破 5000 万次，验证了“密度定律”下参数需求随时间递减的趋势。