Gemma-4-12B-it-SHQ6 (wepiqx)

独立证据与社区反馈

12 个独立来源 · 另 2 官方/转载最近验证 2026-08-05

Gemma 4 12B 在 12B 参数规模下实现接近 26B MoE 的性能，能跑在 16GB 消费级设备上是最大亮点；但编码能力社区评价两极分化——有人称其为「最好的本地编码模型」，也有人认为 Qwen 在编程尤其是 agentic coding 上远优于它。实际体验高度依赖量化版本与推理框架，量化质量差时会出现严重循环和工具调用失败。

• 可在 16GB 内存笔记本或 8GB 显存 GPU 上本地运行，无需高端硬件
• 性能接近 Gemma 4 26B MoE，内存占用不到一半
• 对话和推理体验比 Qwen 3.5 更自然流畅
• SHQ6 混合量化在 8GB 显存 GPU 上困惑度和编码质量均优于官方 Q4 量化
• 支持 MTP（多头预测）使推理速度翻倍至 40-45 tok/s
• 视觉任务上优于同尺寸竞品如 Llama 3.2-11B
• Python bug hunting benchmark 中表现良好（Unsloth Dynamic Q5 量化下）

• 量化质量参差不齐，早期 Unsloth 量化存在严重循环和低质量问题
• 编码能力社区争议大，多名用户认为 Qwen 在编程尤其是 agentic coding 上远优于 Gemma
• 与 opencode 等工具的兼容性存在问题，工具调用和文件写入不可靠
• Q4 量化下质量明显下降，几乎所有任务都出错
• 难度较高的技术问题上不如 Qwen 3.5
• 多语言尤其是亚洲语言覆盖不如 Qwen2.5-14B
• 早期 Unsloth 量化需要约 4 小时调试才能正常工作

• 社区实测Gemma 4 12 b , very bad quality , quant 4 version
• 社区实测Gemma 4 12B: A unified, encoder-free multimodal model
• 社区实测Is Gemma 4 12b good for coding?
• 社区实测Gemma 4 26b is the perfect all around local model
• 社区实测Gemma 4 is fine great even
• 社区实测Gemma 4 12B: incompatible with opencode, or just awful at ...
• 独立评测Gemma 4 12B: Specs, Benchmarks & How to Run It Locally
• 独立评测Google Gemma 4-12B: A Laptop-Runnable Open Model That Matches Gemma 4-26B
• 独立评测Google Gemma 4 12B nearly matches 26B benchmarks — and runs on your laptop
• 社区实测Benchmark & Reality Check on Gemma 4 12B
• 独立评测Gemma 4 12B Is INCREDIBLE! BEST Local AI Coding Model ...
• 独立评测Gemma 4 12B Is INSANE – Is THIS the BEST Local Coding Model Yet?
• 官方/厂商wepiqx/gemma-4-12B-it-SHQ6-GGUF
• 官方/厂商Introducing Gemma 4 12B: a unified, encoder-free multimodal model

可信度自报Wikitext-2 PPL 489.69，低于Unsloth UD-Q4_K_XL (513.11)，1420下载