OpenAI推出GPT‑Realtime‑2.1‑mini 实现低延迟语音代理并将p95延迟降低25%

概述

OpenAI 在最新的 Realtime API 中发布了两款面向低延迟语音交互的模型：gpt-realtime-2.1 与 gpt-realtime-2.1-mini。其中 mini 版在保持原有成本的基础上加入了内部推理能力，并通过改进缓存机制将 p95 延迟至少削减 25%。该单模型音频流水线避免了传统的语音转文字→文字生成→文字转语音的多阶段串联，显著提升了响应速度和对话自然度。

关键特性

Mini 推理模型：支持在实时语音交互中进行内部思考，可在发声前给出预告性语言，避免用户误以为调用函数失败。
工具调用（Function Calling）：两款模型均可在 Realtime 场景下直接触发函数，mini 版已加入此能力。
改进的字母数字识别：对序列号、部件号等字符的识别准确率提升，适用于现场数据采集等业务。
可配置推理力度：提供 minimal、low、medium、high、xhigh 五档推理力度，开发者可根据任务复杂度在延迟与质量之间权衡。

定价与延迟

项目	gpt‑realtime‑2.1	gpt‑realtime‑2.1‑mini	旧版 gpt‑realtime‑mini
文本输入	$4.00	$0.60	$0.60
文本缓存输入	$0.40	$0.06	$0.06
文本输出	$24.00	$2.40	$2.40
音频输入	$32.00	$10.00	$10.00
音频缓存输入	$0.40	$0.30	$0.30
音频输出	$64.00	$20.00	$20.00
图像输入	$5.00	$0.80	$0.80
图像缓存输入	$0.50	$0.08	$0.08

关键数据：mini 版音频输出费用约为全量版的三分之一，且在 95 百分位响应时间上整体下降 ≥25%。

典型使用场景

客服 triage：来电报账单错误，模型先说明将在查询后回复，然后调用 lookup_account、check_invoice 两个工具，并实时播报进度。
预约调度：用户请求改约，模型精准识别日期字符，确认后直接调用 reschedule 接口，避免因误解导致的二次确认。
应用内语音助理：移动端通过 WebRTC 流式传输麦克风音频，模型在几百毫秒内返回简短答案，成本适合大规模并发。
现场数据采集：技术员报告部件编号，改进的 alphanumeric 识别确保编号完整回读，提高数据准确性。

快速接入指南

// 服务器端生成短期 client secret
const r = await fetch("https://api.openai.com/v1/realtime/client_secrets", {
  method: "POST",
  headers: { Authorization: `Bearer ${process.env.OPENAI_API_KEY}`, "Content-Type": "application/json" },
  body: JSON.stringify({
    session: {
      type: "realtime",
      model: "gpt-realtime-2.1-mini",
      instructions: "You are a support agent. Reply concisely.",
      reasoning: { effort: "low" },
      tools: [{ type: "function", name: "lookup_account", description: "Lookup by email.", parameters: { type: "object", properties: { email: { type: "string" } }, required: ["email"] } }],
      tool_choice: "auto"
    }
  })
});
const { value: EPHEMERAL_KEY } = await r.json();

// 浏览器端通过 WebRTC 连接 Realtime API
const pc = new RTCPeerConnection();
const mic = await navigator.mediaDevices.getUserMedia({ audio: true });
pc.addTrack(mic.getTracks()[0]);
const events = pc.createDataChannel("oai-events");
events.addEventListener("message", e => console.log(JSON.parse(e.data)));
const offer = await pc.createOffer();
await pc.setLocalDescription(offer);
const sdpResp = await fetch("https://api.openai.com/v1/realtime/calls", {
  method: "POST",
  body: offer.sdp,
  headers: { Authorization: `Bearer ${EPHEMERAL_KEY}`, "Content-Type": "application/sdp" }
});
await pc.setRemoteDescription({ type: "answer", sdp: await sdpResp.text() });

优势与局限

优势

推理能力下沉至低成本 mini 版，降低音频输出成本近 3 倍。
p95 延迟下降 ≥25%，对实时交互体验提升显著。
单模型音频流水线保持对话连贯性，避免传统 TTS/ASR 串联的累计延迟。
支持可配置推理力度，灵活平衡响应速度与答案深度。

局限

音频 Token 计价仍然偏高，长会话的累计成本需自行做上下文裁剪。
提高推理力度会同步增加输出 Token，用量评估时需考虑此因素。
mini 版在复杂多轮对话、长文本生成方面仍略逊于全量版。

展望

随着缓存技术进一步优化和多模态输入（如图像）成本的下降，Realtime API 有望成为企业级语音客服、智能助理以及现场运维机器人的核心后端。OpenAI 本次发布的两款模型为开发者提供了从低成本快速原型到高质量全功能语音代理的完整路径，行业竞争格局也将随之加速演进。