企业级数据Agent多阶段演进：从Text-to-SQL到智能分析，工程化落地经验

事件概述

文章基于企业数据消费的四个阶段演进（传统BI、自助式BI、增强分析、AI原生Agent），聚焦Data Agent在OLAP场景下的工程化落地。作者团队从2024年开始探索Text-to-SQL，初期效果极差（执行准确率<40%，语法准确率仅50-60%），逐步通过五次技术跃迁和工程体系完善，将产品从取数工具提升为可支撑归因分析等复杂场景的智能Agent。

核心信息

背景与挑战

• 数据消费4.0时代：AI原生Agent，用户通过自然语言完成取数到分析全过程。
• 基准问题：学术Benchmark（如Spider）与真实OLAP场景差距巨大——GPT-4o在Spider 2.0上准确率仅约10%。
• 初期五大问题：找表不准、SQL语义错误、语法错误、交互体验差、评测缺失。

五次技术跃迁

1. Multi-Agent + 元数据渐进式披露：Supervisor Agent拆解任务，下层子Agent分步执行；元数据分三层（业务域→候选表→完整Schema），结合两层Human-in-loop确认。
2. 个性化与持久化记忆：用户画像（组织架构、权限等）和跨Session记忆（点赞、历史表等），实现千人千面。
3. 语义模型（Text-to-DSL）：引入业务语义抽象层，统一标准指标/维度/过滤条件；大模型仅需生成简单DSL，再由确定性引擎翻译为SQL；支持混合Workflow（Text-to-SQL vs. Text-to-DSL）自动路由。
4. 工程底座：文件系统上下文（虚拟文件系统，按需加载、卸载元数据；缓存中间结果）和Sandbox隔离环境。
5. Skill机制：基于Anthropic规范的场景化分析流程（如归因分析五步流程：指标下钻→维度拆解→贡献度排名→因果推断→根因汇总），保障分析过程可解释、可验证。

元数据治理

• AI+人工协同四步流程：表分组→AI生成描述→业务方Review→血缘扩散。
• 效果：AI描述采纳率70%；中等表治理时间从30分钟降到10分钟；仅治理2000张核心表，通过血缘覆盖15万张表；找表准确率最高提升15个百分点。

评测与运营

• 评测集建设：基于线上真实高频SQL反向生成自然语言问题，经人工Review，积累数千条评测集。
• 评估方法：放弃AST语法树比较和纯模型比较，采用执行准确性比较（归一化时间、列名编辑距离、浮点数残差策略）。
• 运营闭环：线上反馈采集（隐/显式+人工标注）→知识管理与Topic运营（私域数据组）→效果验证与数据回流。

从取数到分析

• 自由归因效果差（黑箱不可信）。
• 引入Skill后，数据分析师可定义多步骤流程化分析（如归因Skill五步），Agent按步骤执行并输出可追溯结果，确保商业可信。

值得关注

• 关键领悟：学术Benchmark与真实生产之间存在巨大差距；数据质量（元数据治理）比模型工程更重要。
• 工程创新：混合Workflow路由（Text-to-SQL vs. Text-to-DSL）、渐进式元数据披露、基于文件系统上下文的上下文卸载、沙箱隔离执行。
• 演进方向：从“取数工具”到“可定制的分析Agent”，Skill机制使复杂分析流程标准化、可验证，降低业务对黑箱的顾虑。
• 持续性：四步循环（AI建模→查询→用户反馈→专家优化）确保语义模型持续迭代；运营闭环与数据回流反哺模型训练。