蚂蚁阿福医疗Agent工程化落地：从零到生产的实战经验

事件概述

蚂蚁阿福在演讲中系统介绍了医疗Agent工程化落地的核心经验，涵盖研发范式、评测体系、上下文与检索优化、记忆管理以及训推优化等关键环节。

核心信息

医疗Agent痛点与研发范式

• 核心痛点：医疗场景要求符合循证逻辑的确定性，但大模型天生非确定性，存在长期记忆缺失和高风险合规要求。例如，面对“想自杀”等极端问题需预设高危干预流程。
• 研发范式：采用Badcase驱动的快速迭代，以天为单位推进，核心是“代码数据化”——将逻辑转化为数据训练模型，区别于传统的TDD（测试驱动开发）和搜索推荐的AB测试模式。

评测体系构建

• 评测集建设：以Badcase为起点，通过多渠道收集（种子用户内测、灰度上线反馈等），动态分拣后纳入Benchmark。巡检可显著降低大模型“复读机”问题（从十万分之五降至万分之二）。
• 可靠评测条件：①数据清晰有区分度，能拉开模型能力差距；②样本量足够，波动时优先核查底线问题；③对齐大模型与人工打分偏好，通常需1-2个月校准，避免产品方向偏误。
• 双循环迭代：定期将Badcase补充回Benchmark，防止过拟合。自动化评测耗时已从12天缩短至小时级。

上下文与检索优化

• 上下文长度：国内模型在64K以上时指标下滑，最优有效长度为32K-64K。采用结构化+非结构化混合存储、关键信息提取压缩、渐进式加载（先看目录再读内容）、主子Agent委派处理长文档等策略。
• Agentic RAG：针对医疗多跳复杂问题（如“肝功能不好加发烧，如何吃药、报销？”），基于知识图谱合成难题，用强模型（Claude/Gemini/GPT）蒸馏高质量轨迹，通过意图分解→循证PICO检索→多元信息冲突解决的分层架构实现SOTA效果，相关数据和框架已开源。

医疗场景记忆优化

• 核心难点：数据管理复杂（长期/短期症状、设备数据、医院数据）、信息冲突多、隐私合规要求高（医疗数据泄露超50条可能入刑）。
• 差异化方案：①增加病例级遗忘机制，明确忘记过时信息比记忆更重要；②信息冲突时要求用户确认，无法100%确认主体身份时不混用数据，避免医疗错误；③按用户角色分储数据（如“替他人问诊”场景），确保数据隔离。

训推优化

• 核心思路：分离prefill（计算密集型）与decode（IO密集型）节点，配不同算力卡（如prefill用寒武纪，decode用高HBM卡）；保留KV缓存避免丢失；采用计算压缩（BF16→FP8/INT8）和长短请求分流部署。
• 投机解码方案：开源的蚂蚁百灵1T加速方案将token输出速度从50 tok/s提升至120 tok/s，成本降低近一半。框架层面将训练与Agent代码分离、评测环境与运行环境分离，解决依赖冲突并支持规模化扩展。