Gemma4-Gutenberg-31B-Heretic-mlx-8Bit (ailexleon)

独立证据与社区反馈

8 个独立来源 · 另 3 官方/转载最近验证 2026-07-05

Gemma 4 31B 基准表现强劲，以 31B 参数规模匹敌大数十倍的模型，但社区部署反馈两极：推理速度明显慢于 Qwen 3.5，KV 缓存占用大导致同等显存下可用的上下文长度远不及竞品；Heretic 去审查版本在创意写作场景受认可，但 8-bit 量化质量可能不如 4-bit。Apache 2.0 许可被社区视为比跑分更重要的企业友好信号。

• Heretic 版本通过 ARA 方法移除了 Gemma 4 的安全对齐，实现去审查输出
• 社区反馈 Gemma 4 在创意写作方面表现更好，Heretic 版本进一步降低了拒绝率
• Apache 2.0 许可证消除了企业对 Google 使用政策单方面变更的依赖风险
• 31B 参数规模即可在 Arena AI Elo 上匹敌 600B 级模型，大幅降低了本地运行门槛
• AIME 数学基准从 Gemma 3 的约 20-29% 跃升至 80% 以上，代际提升显著
• 已有面向 Apple Silicon 的 MLX 8-bit 量化版本，可在 Mac 上本地运行
• SWA 机制一定程度上缓解了 KV 缓存膨胀问题

• 8-bit 量化质量存疑：有测试显示 4-bit 得分与 16-bit 持平（21/23），而 8-bit 反而更低（20/23）
• 推理速度远慢于 Qwen 3.5：同硬件下仅 11 t/s，Qwen 3.5 可达 60 t/s
• KV 缓存占用巨大：完整 260K 上下文 fp16 需约 22GB 显存，远不如 Qwen 3.5 紧凑
• 同等显存下可用上下文远少于 Qwen 3.5（约 20K vs 190K）
• Google AI Studio 托管的 Gemma 4 版本被社区评价为体验很差
• 有用户认为 Gemma 4 在非编程任务上完全无用

• 社区实测Gemma 4 31B — 4bit is all you need : r/LocalLLaMA - Reddit
• 社区实测Gemma 4's defenses shredded by Heretic's new ARA method 90 ...
• 社区实测anything better than gemma-4-26B-A4B-it-heretic-GGUF - Reddit
• 社区实测G4-Meromero-31B-Uncensored-Heretic Is Out Now, a Finetune of ...
• 社区实测Why is noone here talking about Gemma4? It's been out for a while ...
• 社区实测Gemma 4 is good : r/LocalLLaMA - Reddit
• 独立评测Gemma 4 Benchmarks: How a 31B Model Competes with Giants 20× Its Size | Gemma4All
• 独立评测Gemma 4's Real Breakthrough Isn't the Benchmarks Google just handed enterprises something worth…
• 转载/仓库TheCluster/Gemma-4-31B-Heretic-MLX-8bit - Hugging Face
• 转载/仓库TxemAI/gemma-4-31B-uncensored-heretic-mlx-8bit · Hugging Face
• 转载/仓库GitHub - Incept5/gemma4-benchmark: MLX benchmark: Gemma 4 + Qwen 3.5 on Apple Silicon with TurboQuant KV cache · GitHub

可信度基于 nbeerbower/Gemma4-Gutenberg-31B-Heretic，Apache 2.0，mlx-lm 0.31.2 转换