M4 MacBook 本地运行 Qwen 3.5-9B 大模型：24GB 内存下 40 tokens/s，支持工具调用
2026/05/11 10:44阅读量 2
实测显示，在配备 24GB 内存的 M4 MacBook 上，Qwen 3.5-9B 大模型可实现约 40 tokens/s 的推理速度，并支持工具调用功能。该结果验证了 9B 参数级模型在消费级硬件上的本地部署可行性。
事件概述
开发者成功在 24GB 内存的 M4 MacBook 上本地运行 Qwen 3.5-9B 大模型，实测推理速度达到约 40 tokens/s，且模型支持工具调用（function calling）能力。
核心信息
- 硬件平台：M4 芯片 MacBook，24GB 统一内存
- 模型：Qwen 3.5-9B（9B 参数规模）
- 性能：推理速度约 40 tokens/s
- 功能特性：支持工具调用，便于与外部 API 或系统交互
值得关注
该测试表明，9B 级别的大语言模型已能在主流轻薄笔记本上以实用速度运行，无需额外依赖云端算力。工具调用能力的支持进一步拓展了本地大模型在自动化、Agent 等场景下的应用潜力。