Bonsai-27B-mlx-1bit (Prism ML)
1-bit 27B 模型, 可在手机和笔记本本地运行推理
仓库标识prism-ml/Bonsai-27B-mlx-1bit
~4.1GB 1-bit许可 可商用任务 文本生成最近核对 2026-08-05
链接指向的配置 不在本页收录的形态里,已显示默认形态(原生)。
- 格式
- 1-bit
- 文件
- ~3.5GB
- 运行内存
- ~4.1GB–5.3GB
- 运行时
- MLX_LM
- 下载
- 23
仅 safetensors · 无 pickle 加载风险
快速上手示例
mlx_lm.generate --model prism-ml/Bonsai-27B-mlx-1bit 依赖版本和硬件参数请以源仓库说明为准。
适合与不适合
独立证据与社区反馈
以 Qwen 为底模的极致压缩方案，首次让 27B 级模型在手机上跑起来，但速度偏慢，创新在压缩效率而非模型本身
- 将 27B 级模型压缩至 3.9 GB，可在 iPhone 上运行
- 无损投机解码，验证步骤保证生成结果与标准解码分布一致
- 手机端实际运行速度偏慢
- 底模是 Qwen，核心创新在压缩效率而非模型本身
- 三元版本在质量对比中不敌同体量传统量化 Q2_K_XL
- 社区实测Bonsai 27B: A 27B-Class model that runs on a phone
- 独立评测Bonsai 27B Deep Dive – 1-Bit, Ternary & Full Precision Compared!
- 社区实测User experience of Bonsai-Ternary-27B on 4060Ti 16GB ...
- 官方/厂商prism-ml/Bonsai-27B-mlx-1bit · Hugging Face
可信度公布15项思维模式基准平均76.11分，保留FP16的89.5%，含详细部署说明
完整规格
下载动量
30天下载 1343.1k → 1057.3k · likes +24
观测时间线
模型家族
- Qwen3.6-27B
- LoRA BTL-3 (Bad Theory Labs)
- 量化 Bonsai-27B-mlx-1bit (Prism ML)
- 量化 Qwen3.6-27B (OBLITERATUS)
- 量化 Qwen3.6-27B-GGUF (unsloth)
- 量化 Qwen3.6-27B-MTP-pi-tune (bytkim)
- 量化 Qwen3.6-27B-OptiQ-4bit (mlx-community)
- 量化 Qwen3.6-27B-Uncensored-Aggressive (HauhauCS)
- LoRA Qwen3.6-27b-Fable5 (hotdogs)
- 量化 Qwopus3.6-27B-Fusion (KyleHessling1)
- LoRA Qwopus3.6-27B-v2-MTP-GGUF (Jackrong)
- 量化 Ternary-Bonsai-27B (Prism ML)
- 微调 grug-27b (ProCreations)