模型 / Grug-12B (kai-os)

Grug-12B (kai-os)

紧凑推理微调,减少冗余推理轨迹,降低推理token消耗

作者 kai-os

~7.2GB 4-bit许可 需自查任务 文本生成最近核对 2026-07-12
格式
4-bit
文件
~6.2GB
运行内存
~7.2GB–9.3GB
运行时
OLLAMA
下载
797

仅 safetensors · 无 pickle 加载风险

Hugging Face 源仓库 ↗

快速上手示例

ollama run hf.co/kai-os/Grug-12B

依赖版本和硬件参数请以源仓库说明为准。

适合与不适合

入选理由
基于Gemma 4的紧凑推理微调,能大幅减少推理token数,适合追求推理效率的开发者,但需自行编写transformers代码,无现成API或Space试用。
对位
对位 Qwen2.5-14B, Gemma 2 9B
适合
低成本推理服务 / 数学与代码紧凑推理
不适合
需要长推导的复杂推理

独立证据与社区反馈

3 个独立来源最近验证 2026-07-12

社区对 KaiOS 评价两极:部分用户认为它够用、契合轻量需求,但更多人指出生态衰退、安全不足

  • 提供轻量级系统,满足特定场景和明确任务的需求
  • 为翻盖手机用户带来「够用即治愈」的极简体验
  • 当前状态不佳,业务挣扎导致技术侧妥协
  • 几乎无人为平台开发应用,生态萎缩
  • 安全方面存在明显短板

可信度本地36题数学代理评估:准确率100%,总生成token 2482 vs 基础模型8227

完整规格

规模
12B · 下载 ~6.2GB · 显存最低 ~7.2GB · 推荐 ~9.3GB · 4-bit(估算)
授权
other · 需自查
框架
transformers / vllm / ollama
血统
微调自 gemma-4-12B-it
访问提示
Hugging Face 可能需要代理

下载动量

30天下载 1.2k → 1.2k

观测时间线

模型家族

查看全部家族 →