模型 / Bonsai-27B-mlx-1bit (Prism ML)

Bonsai-27B-mlx-1bit (Prism ML)

1-bit 27B 模型, 可在手机和笔记本本地运行推理

作者 prism-ml

~4.1GB 1-bit许可 可商用任务 文本生成最近核对 2026-07-22
格式
1-bit
文件
~3.5GB
运行内存
~4.1GB–5.3GB
运行时
MLX_LM
下载
23

仅 safetensors · 无 pickle 加载风险

Hugging Face 源仓库 ↗

快速上手示例

mlx_lm.generate --model prism-ml/Bonsai-27B-mlx-1bit

依赖版本和硬件参数请以源仓库说明为准。

适合与不适合

入选理由
首个手机可运行的27B推理模型,1-bit量化保留90%性能,适合隐私离线场景,需Apple Silicon或CUDA。
对位
对位 Qwen3.6-27B 及 Gemma-4-31B 的低比特量化版
适合
手机端本地27B推理 / 262K长上下文处理
不适合
复杂智能体编程任务

独立证据与社区反馈

4 个独立来源最近验证 2026-07-22

1-bit 技术方向引发好奇,但 27B 实测数据极少——社区对 8B 版本的失望让更大版本的能力存疑

  • 1-bit 27B 仅 3.9GB,宣称可部署在手机上,降低了大模型的本地运行门槛
  • llama.cpp 上的 1-bit 推理性能令人满意
  • 1-bit 量化可能过度损害模型能力,8B 版本实测远逊于同量级 Gemma-4-E2B
  • 实际输出质量难以评判,1-bit 模型的可用性仍有待验证
  • 三元(Bonsai)版本表现甚至比 1-bit 版本更差

可信度公布15项思维模式基准平均76.11分,保留FP16的89.5%,含详细部署说明

完整规格

规模
27B · 262K · 下载 ~3.5GB · 显存最低 ~4.1GB · 推荐 ~5.3GB · 1-bit(估算)
授权
apache-2.0 · 可商用
框架
mlx / llama.cpp / mlx-swift
血统
量化自 Qwen3.6-27B
访问提示
Hugging Face 可能需要代理

下载动量

30天下载 23 → 25.3k

观测时间线

模型家族

查看全部家族 →