LegalOn通过模型分级策略将Codex成本降低65%并保持开发效率

事件概述

LegalOn Technologies是一家提供全球专业AI服务的科技公司，致力于通过结合领域专业知识与AI来支持法律工作及关键业务流程。随着Codex在公司内部开发流程中的广泛采用，如何在保持开发速度的同时控制高昂的模型使用成本成为核心挑战。为此，LegalOn实施了一套基于任务复杂度和业务阶段的模型选择与预算分配策略，实现了成本的大幅削减而不牺牲生产力。

核心信息

1. 模型分级与任务匹配策略

LegalOn摒弃了以往对所有任务统一使用最高性能模型的做法，转而由AI开发卓越中心（AID CoE）制定指南，引导工程师根据具体需求选择最合适的模型。主要涉及以下三种GPT-6系列模型：

• GPT-6 Luna（轻量级）：适用于代码实现、日常自动化执行、简单任务委派及分析。常作为子代理（subagent）运行。
• GPT-6.1 Sol（标准级）：用于标准设计、数据分析、文档准备以及需要比Luna更快完成时间的相对简单的软件设计任务。
• GPT-6 Astra（高能力级）：负责复杂的分析、架构设计、复杂文档创建以及作为编排器（orchestrator）协调多个代理。

2. 成本控制与资源分配机制

• 默认限制Fast模式：系统默认关闭高速模式，仅在必要时允许单个请求，团队通过并行执行任务等方式维持开发性能。
• 差异化预算管理：
  • 成熟业务：要求提升约20%的成本效率。
  • 新业务/初创阶段：提供充裕预算以鼓励AI的高频使用，优先保障业务增长速度而非短期成本节约。
• 治理监控：通过管理员设置设定部门和个人的月度使用上限，AID CoE持续监控使用情况并根据业务需求动态调整。

3. 成效数据

• 成本降低：相比此前使用的GPT-5.5 Fast模式，每日预估成本降低约65%。
• 效率维持：在限制默认高速模式后，通过并行处理等工程实践，整体开发速度未受明显影响。
• 成熟业务优化：在既有业务线中实现了约20%的成本效率提升。

值得关注

从“开发速度”转向“客户价值”的ROI评估

LegalOn意识到，仅衡量开发加速和AI使用量不足以反映真实回报。公司正在构建新的指标体系，以“功能发布”为最小核算单元，追踪每个功能发布所投入的实际AI成本与其为客户带来的价值之间的联系。这一转变旨在使AI投资的真实回报率（ROI）可视化且准确。

为了将个体工程师的AI经验转化为组织能力，LegalOn计划建立知识库，收集最佳实践（如不同场景下的模型组合）。同时，公司在招聘中开始强调AI技能，并重新思考人与AI的工作分工，试图在风险控制和团队行动自由之间建立灵活的运营框架，以确保持续的竞争优势。