5小时众筹破百万美元,Tiiny AI如何填补本地AI推理市场空白

2026/04/04 13:07阅读量 2

Tiiny AI推出的Pocket Lab外接设备在Kickstarter上线5小时内众筹突破100万美元,累计达295万美元,精准切入隐私敏感型用户对本地大模型推理的迫切需求。该产品通过PowerInfer异构算力调度技术,以1399美元的售价实现了媲美高端工作站的190TOPS算力及120B模型本地运行能力。尽管面临关于参数激活机制和交付时间的质疑,其依托头部厂商量产保障及软件定义硬件的策略,验证了端侧AI作为专业工具的商业可行性。

事件概述

3月中旬,Tiiny AI(国内主体为本智激活)在Kickstarter平台上线其首款产品"Pocket Lab"。这款专为本地AI推理设计的外接设备,起售价为1399美元。项目上线仅5小时即突破100万美元众筹额度,截至发稿日累计筹集295万美元,拥有2093名支持者。这一速度使其成为继2022年拓竹(Bambu Lab)之后,该平台上增长最快的项目之一。

核心技术与产品定位

解决市场缝隙
Tiiny AI瞄准的是现有方案无法满足的三大痛点:

  • 隐私与成本:金融、法律等从业者无法接受数据上云风险,且不愿承担云端API的持续Token消耗费用。
  • 性能与体验割裂:现有AI PC占用主力电脑资源,导致日常办公卡顿;树莓派算力不足难以运行大模型;NVIDIA Jetson AGX Orin等边缘计算设备价格高昂(约1999美元)且需自行配置存储。
  • 部署门槛:缺乏“一键部署”的本地大模型解决方案。

产品形态
Pocket Lab不预装传统操作系统(如Windows/macOS),仅作为类似“移动硬盘”的外接接口,专注于100B级别模型的本地推理。用户只需插入设备并连接Mac/Windows主机,即可通过客户端使用。

异构算力架构
核心技术基于团队开源项目PowerInfer引擎,采用冷热参数分治策略优化端侧异构算力:

  • 冷参数处理:将80%的冷激活参数(仅在特定领域问题触发时调用)存储在SoC(Armv9.2 CPU + NPU,30 TOPS)中。
  • 热参数处理:将20%的热激活参数(每次交互均调用)存储在dNPU(专用ASIC,160 TOPS)中。
  • 实测性能:在120B MoE模型下,预填充(Prefill)速度达300 tokens/s,解码(Decoding)速度达20 tokens/s;35B模型下解码速度可达45 tokens/s。官方宣称其综合AI峰值算力为190 TOPS(INT8),性能对标主流桌面级专业显卡。

争议回应与交付保障

技术表述争议
针对外界关于“120B模型实际仅激活51亿参数”及“算力简单累加”的质疑,Tiiny AI解释称:

  • MoE架构下,冷热参数合并传输的数据量极小(以GPT-OSS-120B为例,单次跨PCIe传输仅约5.625 KB),远低于PCIe Gen4 x4带宽上限(约8 GB/s),因此不会成为性能瓶颈。
  • 行业惯例中,此类营销表述旨在展示整体推理能力,而非单一芯片的理论峰值。

交付时间延迟
产品预计于8月交付,主要受限于FCC、CE等国际合规认证流程。公司已于1月启动认证筹备,预计6月底前完成。生产环节由全球PC制造头部厂商LCFC负责,计划于5月在越南工厂量产,以确保品控与交付质量。

行业意义

Tiiny AI的成功众筹验证了个人AI工作站(Personal AI Workstation)的真实市场需求。在AI PC尚未完全成熟之际,这种专注于高频Agent任务、强调离线隐私与高性价比的专用设备,正成为高敏感数据用户和专业玩家的首选过渡方案。这标志着端侧AI从概念走向消费级落地的确定性趋势,即通过算法优化(软件定义硬件)弥补硬件成本短板,降低大模型本地化门槛。

准备好启动您的定制项目了吗?

现在咨询,即可获得免费的业务梳理与技术架构建议方案。