Bonsai-8B-mlx-1bit (PrismML)

独立证据与社区反馈

3 个独立来源 · 另 1 官方/转载最近验证 2026-07-22

社区评价两极分化：部分用户认为这是首个脱离纯研究阶段、实际可用的 1-bit 模型，但也有用户实测认为其回答质量明显不如同体量的常规小模型。

• 内存占用远低于同尺寸 FP16 模型，可在 Mac/iPhone/iPad 等终端设备上以可用速度本地运行
• 首个脱离纯研究阶段、实际可用的 1-bit 模型系列，远优于此前微软 BitNet 等仅限研究的方案
• 在语法约束解码（GBNF grammar）下，工具调用准确率可达 92%，超过同场景下 Granite-4.1-3B、Qwen 等模型

• 需要 PrismML 维护的 llama.cpp 分支才能加载，不兼容上游 llama.cpp，且该分支版本滞后于上游
• 无语法约束时工具调用完全不可用，原始输出通过率为 0%
• 有用户实测认为其回答质量远不如 Gemma-4-E2B（Bonsai 仅比 Gemma 小 29%），且三元版本表现更差

• 社区实测The Bonsai 1-bit models are very good
• 社区实测I benchmarked PrismML's 1-bit Bonsai-8B against IBM's Granite on CPU tool calling. The 1-bit model won, but only with grammar-constrained decoding
• 社区实测Bonsai models are pure hype: Bonsai-8B is MUCH dumber than Gemma-4-E2B
• 官方/厂商prism-ml/Bonsai-8B-mlx-1bit · Hugging Face

可信度下载量 15k+，平均分 70.5 接近全精度 8B，内存仅 1.28 GB