Bonsai-8B-mlx-1bit (PrismML)

独立证据与社区反馈

4 个独立来源最近验证 2026-08-05

社区对 Bonsai 8B 评价两极分化：部分用户认可其在小体积下的实际可用性，另一部分用户认为其回答质量远不如传统 8B 模型，存在过度宣传之嫌。

• 内存占用远低于同尺寸模型，可在消费级 Mac 上流畅运行聊天、文档摘要、工具调用等场景
• 相比此前仅具研究价值的 MSFT BitNet 模型，Bonsai 具备实际可用性，非纯学术玩具
• 1.15 GB 的极小体积使其可部署到手机等移动设备

• 部分用户实测认为其回答质量明显不如 Gemma-4-E2B 等传统精度的 8B 模型
• MLX 版本的每权重实际比特数为 1.25 bits，高于官方宣称的 1.125 bits，存在额外打包开销
• 官方声称的「end-to-end 1-bit，无高精度 escape hatch」表述容易引起误解

• 社区实测The Bonsai 1-bit models are very good
• 社区实测Bonsai-8B is MUCH dumber than Gemma-4-E2B : r/LocalLLaMA
• 独立评测PrismML — Announcing 1-bit Bonsai: The First Commercially Viable 1-bit LLMs
• 独立评测PrismML Bonsai 8B First Look & Test - A TRUE 1-Bit LLM?

可信度下载量 15k+，平均分 70.5 接近全精度 8B，内存仅 1.28 GB