Ternary-Bonsai-8B (Prism ML)

独立证据与社区反馈

4 个独立来源最近验证 2026-07-22

社区意见两极分化：一方认为这是首个可用的 1-bit 模型系列，另一方实测后认为实际生成质量不敌同规模的常规小模型，存在「宣传大于实效」的争议。

• 显著降低内存占用，8B 模型仅需约 1.75 GB，约为 16-bit 模型 1/9（来源 1）
• 远优于此前仅具研究价值的 MSFT BitNet 等 1-bit 模型，首次做到实际可用（来源 2）
• 在资源受限的本地设备上提供了可运行的大参数模型选项（来源 2）

• 需使用 PrismML 的 llama.cpp 分支，无法直接通过官方 llama.cpp 加载（来源 2）
• 实际生成质量不如同参数规模的常规模型，有用户反馈 Bonsai-8B「比 Gemma-4-E2B 笨得多」（来源 0）
• 仍依赖 GPU，并未真正实现 1-bit 模型「去除 GPU 瓶颈」的目标（来源 4）
• Ternary 版本在部分实测中表现反而不如 1-bit 版本（来源 0）

• 独立评测Introducing Ternary Bonsai: Top Intelligence at 1.58 Bits
• 社区实测The Bonsai 1-bit models are very good : r/LocalLLaMA
• 社区实测Bonsai models are pure hype: Bonsai-8B is MUCH dumber than Gemma-4-E2B : r/LocalLLaMA
• 独立评测The smallest 8B model ever created is not really an advancement

可信度下载16k+，评测均分75.5，白皮书，iPhone 27 tok/s