Gemma-4-12B Agentic v2 (yuxinlu1)

独立证据与社区反馈

12 个独立来源 · 另 2 官方/转载最近验证 2026-07-08

该版本为社区实验性微调,在 Gemma 4 12B 基座上叠加 Composer 2.5 与 Fable 5 推理轨迹及 agentic 调优,面向编程与工具调用。基座模型以 encoder-free 架构实现文本/图像/音频/视频单次直通处理,可在约 4.5 GB 显存的消费级硬件本地运行,Apache 2.0 许可。但量化低于 Q4 时性能严重退化,实际 agentic 工具调用仍不稳定,同尺寸 Qwen 3.5 9B 在多数基准上领先。

• 可在消费级硬件上本地运行,最低约 4.5 GB 显存或统一内存
• 提供 Q3_K_M 到 Q8_0 多档量化,适配不同显存预算
• 兼容 llama.cpp、Ollama、LM Studio、vLLM 等主流本地推理框架
• 基座 Gemma 4 12B 采用 encoder-free 架构,文本/图像/音频/视频直通处理,无需单独编码器
• Apache 2.0 许可,可商用,完全离线本地运行
• 支持 MTP draft 投机解码,实测推理加速约 1.2–1.3 倍
• 融合 Composer 2.5 与 Fable 5 推理轨迹做编程能力微调
• 基座 12B 模型多项指标接近 26B 级别

• 量化低于 Q4 时模型性能严重退化
• 实际 agentic 工具调用场景中简单工具调用仍不可靠
• 同尺寸竞品 Qwen 3.5 9B 在 5/8 项基准测试中胜出,且参数量更小
• encoder-free 架构较新,社区适配和调试存在一定门槛
• 该微调为社区实验性产物,非官方发布
• 定性/创意类任务的实际表现可能不同于基准分数

• 独立评测(V2 IS INSANE) Gemma 4 12B+Agentic+Fable5+Composer2.5 : Local Coding AI
• 社区实测Gemma 4 12B: incompatible with opencode, or just awful at tool ...
• 独立评测Gemma 4 12B Enables On-Device, Multimodal Agentic Workflows with an Encoder-free Architecture - InfoQ
• 独立评测Gemma 4 Coder: 12B Model Carrying Fable 5's Reasoning on 8GB VRAM, Fully Offline
• 社区实测Is Gemma 4 12b good for coding? : r/LocalLLaMA - Reddit
• 社区实测New Google Gemma 4 12B Claims Near-26B Performance - Reddit
• 社区实测Is Gemma 4 going to be the next Mistral (or Qwen3.6) one day ...
• 独立评测gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2 API & Inference Endpoint | FriendliAI
• 独立评测Gemma 4 12B: Multimodal AI That Runs on Your Laptop
• 独立评测Gemma 4 12B : Run Locally, Fine-Tune, Benchmark Performance
• 社区实测gemma-4-12b-it vs Qwen3.5-9B on shared benchmarks - Reddit
• 独立评测Google Gemma 4 12B nearly matches 26B benchmarks — and runs on your laptop - The New Stack
• 官方/厂商yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF · Hugging Face
• 官方/厂商Introducing Gemma 4 12B: a unified, encoder-free multimodal model

可信度tau2-bench telecom 55% vs base 15%，48 likes，GGUF 一键部署