Qualcomm与Qt合作：在Dragonwing IQ 9075上部署FactoryPulse多AI边缘工作负载

事件概述

Qualcomm Technologies, Inc. 与 Qt Group 合作开发了 FactoryPulse 解决方案，旨在展示如何在单一的 Qualcomm Dragonwing IQ-9075 处理器平台上，同时高效部署多种 AI 边缘工作负载，包括视觉 AI、带有检索增强生成（RAG）的生成式 AI（GenAI）以及语音识别。该方案利用 Qualcomm Hexagon Tensor Processor (HTP) 加速器，实现了在不牺牲性能的前提下，将多个 AI 任务与实时 2D/3D 图形渲染结合运行。

核心信息

1. 硬件配置与系统架构

• 核心平台：Dragonwing IQ-9075 评估套件 (EVK)。
• 外设连接：配备 2 个触摸屏显示器、2 个摄像头、扬声器和麦克风。
• 功能演示：支持数字孪生视图、操作员仪表盘、缺陷检测摄像头输入及语音交互。

2. FactoryPulse 五大工业应用场景

该解决方案模拟了一个拥有四条生产线的工厂环境，涵盖以下用例：

• 工厂管理：监控活动以确保效率、安全和生产力。
• 缺陷检测：使用视觉 AI 识别产品瑕疵。
• 工人安全：监测个人防护装备佩戴情况及人员进入受限区域。
• 预测性维护：监控设备状态，预判故障并辅助维护。
• 演示模式：展示系统整体能力。

3. 软件栈与技术组件

为了实现上述功能，方案整合了以下关键组件：

• 运行时环境：Qualcomm Intelligent Multimedia SDK (IM SDK)、Edge Impulse 开发平台及板载 AI 运行时。
• GenAI 库：使用 Genie 软件库进行带有 RAG 的 GenAI 模型推理。
• 媒体集成：Qualcomm 与 Edge Impulse 提供的 GStreamer 元素用于视觉 AI；Whisper 自动语音识别 (ASR) 用于语音转文本。

4. 具体 AI 模型部署细节

• 视觉缺陷检测：
  • 模型：Edge Impulse YOLO Pro。由 Edge Impulse 云服务生成，通过 Edge Impulse GStreamer 元素部署于 Dragonwing 边缘硬件进行推理和叠加显示。
• 工人安全监控：
  • 模型：两个 TensorFlow Lite (TFLite) 模型。
  • 功能：一个用于检测安全帽和反光背心，另一个用于追踪靠近受限区域的人员。
  • 加速：使用 Qualcomm GStreamer 元素进行设备端推理加速，无需依赖云端。
• 生成式 AI 与 RAG：
  • LLM：Meta Llama 3.2 Instruct 3B，针对 Dragonwing IQ-9075 Hexagon HTP 加速器编译。
  • 嵌入模型：BAAI BGE-large，用于从用户输入生成嵌入向量，同样针对 HTP 优化。
  • 存储：文档和嵌入向量存储在 Chroma DB 中，支持边缘端的自然语言查询和信息检索。
• 语音识别 (ASR)：
  • 模型：OpenAI Whisper-small 及 Qualcomm AI Hub 的 Whisper-Base 模型。
  • 功能：实现设备端的语音到文本转换，支持工厂内的免提交互。

5. 操作界面与监控

• Operator Dashboard：单一屏幕整合所有活跃工作负载，包括安全区域监控、生产线指标、资源利用率趋势及缺陷检测摄像头画面。
• SCADA 系统：提供全视口的 SCADA 系统和便携式接口，允许操作员切换生产线、启用/禁用子系统或进入演示/维护模式。
• 数字孪生：使用 Qt Quick 3D 渲染四生产线的 3D 视图，传送带区段根据状态着色。

值得关注

该案例重点展示了 Hexagon HTP 加速器 在多模型并发场景下的优化能力。通过将 YOLO Pro、TFLite 模型、Llama 3.2 和 Whisper 等不同类型的模型统一编译并部署在同一 SoC 上，验证了 Dragonwing IQ-9075 在处理高算力需求的混合 AI 工作负载时的可行性。此外，方案强调了从云端开发（如 Edge Impulse）到边缘部署的高效流程，以及 Qt 框架在构建复杂工业 UI 和数字孪生可视化中的角色。