法国AI初创ZML推出免费LLMD推理平台 跨芯片加速显著

产品概览

法国AI初创公司ZML今日发布全新推理服务器 ZML/LLMD，以免费方式向企业和云服务提供。该平台支持多种开源大模型，在NVIDIA、AMD、Google TPU、Apple Metal、Intel Arc 等主流芯片上均可实现高效推理。

技术亮点

• 跨芯片加速：通过统一的抽象层，LLMD 能在不同硬件上自动调度，最大化算力利用率，部分场景下甚至超越单一芯片的原生性能。
• 多模型兼容：兼容 Llama、Mistral、Gemma 等主流开源模型，无需额外改写代码。
• 低成本与低能耗：帮助用户在成本敏感的业务中使用更廉价或更节能的芯片，如欧洲新兴厂商 Axelera、Fractile 等。
• 易部署：提供 Docker 镜像和 Kubernetes 插件，支持一键上手。

市场与竞争

ZML 创始人Steeve Morin 表示，推理已经超越模型训练成为 AI 应用的瓶颈，现有软件生态导致供应商锁定。LLMD 的出现有望打破这种壁垒，为企业提供灵活的芯片组合。其主要竞争对手包括 Baseten、Inferact（vLLM 项目）以及商业化的 SGLang，后者在部分场景下提供类似功能，但 ZML 侧重全栈跨芯片覆盖。

融资与前景

ZML 在去年获得 2000 万美元融资，领投方包括 20VC、AALVC、Kima Ventures 等，且得到图灵奖得主 Yann LeCun 以及 Hugging Face 创始人 Clément Delangue、Julien Chaumond 的背书。Morin 透露，LLMD 目前免费提供，后续将根据使用数据探索付费模式，但不会限制创新。随着欧洲芯片生态的快速成长，ZML 计划继续扩展对新硬件的适配，并在明年推出更高级的性能分析工具。

“我们希望把推理的效率提升到前所未有的水平，让 AI 能够在更广泛的场景中普及。”——Steeve Morin