OpenAI 利用 WebSockets 与连接级缓存加速代理工作流
2026/04/22 18:00阅读量 2
OpenAI 在 Responses API 中引入 WebSocket 支持，旨在优化 Codex 代理循环的延迟问题。通过采用连接级缓存机制，显著降低了 API 开销并提升了模型响应速度。这一改进直接针对高频交互场景，为构建更高效的自动化代理提供了底层技术支撑。
事件概述
OpenAI 在其 Responses API 中引入了对 WebSocket 的支持，重点优化了 Codex 代理（Agent）的工作流程。该更新旨在解决传统 RESTful 请求模式在高频率交互场景下产生的延迟和开销问题。
核心信息
- 技术架构升级：从传统的短连接请求转向基于 WebSocket 的长连接通信，实现了客户端与服务端之间的持续双向通道。
- 连接级缓存（Connection-scoped caching）：在 WebSocket 会话期间，系统能够复用上下文和中间状态，避免了重复的数据传输和处理开销。
- 性能提升效果：
- 显著减少了 API 调用的网络往返时间（RTT）。
- 降低了整体 API 负载，使模型推理更加流畅。
- 有效缩短了代理决策循环中的等待时间，提升了实时性。
值得关注
此次更新主要针对需要多轮对话或复杂任务规划的代理应用。通过减少协议层面的摩擦，开发者可以更专注于业务逻辑的实现，而无需过度担忧底层通信带来的性能瓶颈。