OpenAI发布GPT‑Live实时语音系统，实现毫秒级对话响应
背景与挑战
传统的语音助手采用“先听后说”的回合制架构，需要通过微型转向检测器判断用户何时结束发言。检测器误判会导致用户被截断或响应迟缓，难以匹配人类自然的交互节奏。OpenAI 的前代语音系统也面临相同瓶颈，难以支撑大模型的深度推理与工具调用。
GPT‑Live 全双工模型
GPT‑Live 采用全双工（full‑duplex）语音模型，音频可以同步进入模型并由模型实时生成语音输出，彻底去除转向检测器。模型在保持对话流畅的同时，仍可在后台异步调用更强大的前沿模型（如 GPT‑5.5）完成搜索、推理或工具调用，用户几乎感受不到任何停顿。
低延迟系统架构
- 媒体专线：音频流经专用的快速路径，从客户端直达语音模型，业务逻辑和工具调用在独立的异步 RPC 层完成，防止慢请求阻塞媒体传输。
- 状态化推理：引入状态化推理引擎，实现会话上下文的持续维护。会话切换时可热备新模型实例并预填充上下文，实现无感切换。
- 上下文压缩：当对话长度超过模型上下文限制时，系统在后台压缩历史并启动新实例，避免 KV 缓存失效导致的延迟。
协议优化：WARP 与 Instant Connect
OpenAI 为 WebRTC 媒体层制定了 WARP（WebRTC Abridged Roundtrip Protocol），将原本六轮的握手压缩至一次 UDP 包完成，包括 DTLS‑1.3、ICE‑DTLS 合并以及 SCTP 预协商等技术。随后推出 Instant Connect，提前协商 SDP 参数，使得客户端点击按钮后即可启动音频流，整体启动时延从数百毫秒降至低于 100 ms。
生产验证与可观测性
在正式上线前，OpenAI 采用影子路由方式在真实用户流量上进行灰度测试，监测 CPU、网络、GPU 以及会话并发数的端到端延迟。测试发现，语音会话的并发容量不再由 GPU 吞吐决定，而是受限于整体管线的每帧调度。为此团队将容量指标从“每秒请求数”转为“每秒并发会话数”，并在不同地区部署边缘推理节点以降低网络抖动。
同时，团队加强了可观测性：细粒度的帧延迟指标、上下文压缩耗时、委托路径的响应时间全部可在仪表盘实时监控，异常时可快速回滚或隔离故障路径。
影响与展望
GPT‑Live 已经成为 ChatGPT Voice 的核心底层，并将在即将发布的 GPT‑Live API 中向开发者开放。凭借毫秒级的响应和全双工交互，未来的语音助手、车载系统以及可穿戴设备都将能够提供与人类面对面交流几乎无差别的体验。OpenAI 还计划将该架构扩展至多模态实时交互，为文本、图像、视频等多媒体输入提供统一的低延迟通道。
“实时语音交互的关键在于让声音永不停歇，而不是让模型思考更快。”——OpenAI工程团队