PrismML发布Bonsai 27B 1位和三值量化模型，实现笔记本手机本地运行

背景与意义

PrismML近期发布的Bonsai 27B，是对已有大模型Qwen3.6-27B的全新低比特压缩实现，并非重新预训练。通过将权重分别量化为1位二进制和三值形式，模型体积分别压缩至约3.9GB和5.9GB，突破了传统4位、2位量化在精度上的瓶颈，使27B级别的模型首次能够在普通笔记本甚至手机上本地运行，具有重要的隐私保护和离线推理价值。

技术实现

量化方案：
- 三值Bonsai 27B 采用 {‑1,0,+1} 权重，实际比特率 1.71 bits/weight，配合每 128 权重共享一个 FP16 缩放因子，实现约 9.4 倍的存储压缩。
- 1位Bonsai 27B 使用二进制 {‑1,+1} 权重，实际比特率 1.125 bits/weight，压缩率约 14.2 倍。
模型结构：保持 Qwen3.6-27B 原始架构不变，语言权重约 24.8B，视觉塔 0.46B，嵌入+LM Head 2.5B。视觉塔采用 4‑bit HQQ 量化，整体上下文窗口提升至 262K token，得益于约 75% 注意力实现线性化。
存储布局：每 128 权重共用一个 FP16 缩放值，仅在极少数归一化层保留更高精度，确保整体计算图仍以低位权重为主导。

性能评估

PrismML 使用 EvalScope 在 H100 GPU 上跑 15 项基准，结果显示：

三值版本保留 FP16 基准的 94.6% 效能。
1位版本保留 89.5% 效能。

在细分任务上，二者在数学推理、编码、知识问答等均表现接近 FP16，唯一显著下降出现在 AIME 与 LiveCodeBench 等极端推理任务，符合低位量化的已知局限。

部署场景

笔记本本地代理：三值模型在 24 GB 显存的机器上即可完整加载，支持 262K token 长上下文，适用于代码库检索、文档分析等高容量任务。
手机离线推理：1位模型仅需约 4 GB 存储，配合 4‑bit KV 缓存，可在 12 GB RAM 的 iPhone 上运行，实测每 1% 电池可生成约 672 token，满足移动端隐私敏感的对话与推理需求。
单卡服务：在 24 GB 显存的 GPU 上，使用 4‑bit KV 缓存即可完整部署 27B 质量的模型，显著降低算力成本。

PrismML 还同步提供基于 DSpark 的草稿模型（draft depth k=4），在 H100 上实现 1.37×生成速率提升，且生成分布与原模型保持一致。

关键要点

Bonsai 27B 并非新模型，而是 Qwen3.6-27B 的低比特实现，保持原始架构不变。
三值版本体积 5.9 GB，保留 94.6% 基准性能；1位版本体积 3.9 GB，保留 89.5% 基准性能。
首个 27B 级别模型能够完整适配手机，开启大模型本地推理新纪元。
所有发布内容均采用 Apache 2.0 许可证，兼容 llama.cpp、MLX 等主流推理框架，便于社区快速集成。

“低比特量化不再是学术概念，而是让大型语言模型真正走进普通用户设备的关键技术。” — PrismML 官方技术博客

结语

Bonsai 27B 的发布标志着大模型压缩技术进入实用化阶段。随着更多低比特模型的出现，AI 隐私、离线推理以及边缘算力的瓶颈有望被进一步打破，行业生态将迎来新一轮的创新与竞争。