微软发布OptiMind 20B模型 实现自然语言到求解器级优化模型的直接转换

背景与意义

在传统运筹学中，将业务意图转化为 MILP（混合整数线性规划） 往往需要领域专家数天甚至数周的建模工作。微软研究院的 OptiMind‑SFT 通过大规模 LLM 直接把自然语言需求生成完整的数学模型和可执行代码，极大压缩了这一环节的时间成本。

模型概览

• 规模：20 B 参数的 Mixture of Experts（MoE）Transformer，单次推理激活约 3.6 B 参数，推理成本接近中等规模模型。
• 上下文长度：128 000 token，支持超长需求描述和多步推理。
• 输出：
  • 标准化的数学公式（变量、约束、目标函数）
  • 基于 GurobiPy 的 Python 脚本，可直接在本地或云端求解器运行

训练数据与流程

OptiMind‑SFT 基于 openai/gpt-oss-20b 微调，使用清洗后的 OR‑Instruct、OptMATH 等数据集。团队对 53 类典型优化问题（如集合覆盖、旅行商、车间排程）进行 类‑错误分析，并编写针对性的提示（hint）帮助模型纠正常见建模失误。

• 硬件：8 块 NVIDIA B200 GPU 完成约 8 小时的微调；推理推荐 32 GB GPU（A100/H100/B200）。
• 数据清洗：通过模型‑人类交叉检查、投票过滤与自动重生成，显著提升训练语料的公式准确度。

推理管线与测试时扩展

1. 分类阶段：先将输入问题归入 53 类之一。
2. 提示增强：把该类的错误摘要和修正提示拼入 Prompt。
3. 多样本生成：可开启自洽（self‑consistency）与多数投票，产生多套代码并选取最稳健解。
4. 反馈回路：执行生成的脚本，捕获求解器错误后再次喂给模型进行几轮修正，显著降低建模错误率，代价是更高的延迟。

性能提升

在 IndustryOR、Mamo‑Complex、OptMATH 等清洗后基准上，OptiMind‑SFT 将公式生成准确率提升约 20.7%，并在加入自洽与多轮反馈后进一步逼近专有前沿模型（如 GPT‑o4 mini、GPT‑5）的水平。整体准确率从原始 40‑60% 提升至 70‑90% 区间。

开源与落地

• 代码与模型：已发布至 HuggingFace（microsoft/OptiMind‑SFT）和 Azure AI Foundry（microsoft-optimind-sft），可通过 SGLang 以 OpenAI 兼容接口调用。
• 应用场景：供应链规划、制造调度、物流路径优化等垂直行业的决策支持系统，可直接嵌入现有业务流程。

关键要点：OptiMind 将自然语言与高效求解器桥接，实现了“语言 → 公式 → 求解”的一站式工作流，为运筹优化的模型化提供了可复制、可扩展的 AI 方案。

展望

随着更大规模的 MoE 模型和更丰富的行业数据加入，未来的 LLM 将可能在更复杂的非线性、随机或多目标优化场景中直接提供可解释的求解策略，进一步推动 AI 在企业决策层面的落地。