模型 / Ternary Bonsai 27B (prism-ml)

Ternary Bonsai 27B (prism-ml)

三元2-bit 27B开源模型，笔记本本地运行推理

作者 prism-ml

~7.3GB ternary许可 可商用任务 文本生成最近核对 2026-07-15
格式
ternary
文件
~6.3GB
运行内存
~7.3GB–9.5GB
运行时
LLAMA-SERVER
下载
6

仅 safetensors · 无 pickle 加载风险

Hugging Face 源仓库 ↗

快速上手示例

llama-server -hf prism-ml/Ternary-Bonsai-27B-gguf

依赖版本和硬件参数请以源仓库说明为准。

适合与不适合

入选理由
三元量化使27B模型仅需7GB显存，笔记本上跑出95%全精度性能，适合本地部署大模型、隐私敏感场景和单GPU服务。
对位
对位 Qwen3.6-27B/Gemma-4-31B 低比特量化
适合
笔记本端27B推理（~26 tok/s） / 离线/隐私场景长文本理解
不适合
手机端部署与长链条代理编码

完整规格

规模
27B · 262k · 下载 ~6.3GB · 显存最低 ~7.3GB · 推荐 ~9.5GB · ternary(估算)
授权
apache-2.0 · 可商用
框架
mlx / llama.cpp
访问提示
Hugging Face 可能需要代理

下载动量

30天下载 6 → 20.4k

观测时间线