腾讯发布Hy3 295B MoE模型，单次激活仅21B参数并支持256K长上下文

模型概览

腾讯Hy团队正式发布Hy3，整体规模达2950亿参数的Mixture‑of‑Experts（MoE）模型。模型采用稀疏路由，192个专家中每次仅激活前8位，实际计算只涉及约21B参数，从而在保持大模型表达能力的同时显著降低算力需求。Hy3在Apache 2.0许可证下开源，并提供256K上下文窗口，专为推理、Agent式工作流和长文本处理设计。

关键技术亮点

稀疏MoE架构：192个专家，Top‑8路由，单token激活仅8个专家，计算成本远低于全连接模型。
多令牌预测（MTP）层：一次性生成多个 token，加速解码，配合vLLM、SGLang的投机解码实现更低延迟。
混合精度：默认BF16，另提供FP8 checkpoint，进一步压缩显存占用，适配低成本GPU部署。
长上下文支持：256K token窗口，能够一次性处理完整代码库、合同全文或大型数据表，突破传统模型的上下文瓶颈。

基准表现

Hy3在多项公开基准上取得领先或可比成绩，尤其在代码和推理任务上表现突出：

SWE‑Bench Verified：78.0（显著高于同类开源模型）
SWE‑Bench Pro：57.9，SWE‑Bench Multilingual：75.8
GPQA Diamond：90.4，USAMO 2026：72.0
IMOAnswerBench：90.0，HLE（带工具）：53.2

在一次包含270位专家的盲测中，Hy3以2.67/4的分数领先GLM‑5.1的2.51，尤其在前端开发、CI/CD和数据存储场景表现最为突出。

生产可靠性与部署

为满足企业级使用，团队重点提升了模型的稳定性：

工具调用与输出格式：修复导致无限循环的调用错误，提升Agent调用的鲁棒性。
抗幻觉能力：内部评估显示幻觉率从12.5%降至5.4%，常识错误率从25.4%降至12.7%。
多轮意图追踪：联合SFT+RL训练后，长对话基准MRCR从42.9%提升至75.1%。

部署建议：使用8块GPU（如NVIDIA H20‑3e）即可满足完整模型的显存需求；vLLM或SGLang均提供一键启动脚本，开启MTP后即可实现高效推理。针对量化需求，腾讯提供AngelSlim工具箱，覆盖低位量化与投机采样方案。

适用场景

代码智能体：将完整代码库导入256K窗口，使用reasoning_effort="high"让模型进行深度链式思考，自动修复测试失败。
文档长文本处理：一次性输入合同、年报等长文档，模型可在保持事实准确性的前提下生成摘要或风险提示。
金融分析：在同一提示中混合表格与文字，生成基于真实数据的报告，自动标记缺失信息。
前端/游戏开发：生成React组件或游戏循环代码，模型在前端基准测试中已表现出相对GLM‑5.1的优势。

结语

Hy3将大模型的规模优势与稀疏激活的算力效率相结合，提供了一个兼具开放性与实用性的AI平台。随着256K上下文窗口的落地，长文本和多模态任务的门槛将进一步降低，预计将在企业内部工具、代码智能体以及文档理解等细分领域产生显著影响。