Qwen3.6-35B-A3B-GGUF (Unsloth)

独立证据与社区反馈

8 个独立来源 · 另 2 官方/转载最近验证 2026-07-22

Unsloth 的量化在同类中排名第一（22 个尺寸中 21 个 KL 散度最优），2-bit 量化仅需 13GB 内存即可运行复杂 agentic 任务，工具调用能力在低比特量化下依然可靠，性价比极高；但 CPU-only 推理速度比同类 GGUF 慢约 30%，且 followup 响应延迟明显更长。

• 极低硬件门槛：2-bit 量化仅需 13GB RAM 即可运行并完成完整 repo bug 追踪（证据、复现、修复、测试、PR 撰写）
• 复杂 agentic 工具调用：单次任务完成 30+ 次工具调用、搜索 20 个网站、执行 Python 代码
• 量化质量 SOTA：Unsloth 量化在 22 个尺寸中的 21 个上以 mean KL divergence 排名第一
• SVG 生成质量突出：在笔记本上生成的鹈鹕骑自行车 SVG 优于 Claude Opus 4.7
• 1-bit 量化仍可用的工具调用：即使 1-bit GGUF 下工具调用表现依然很好
• 大上下文支持：Q4 量化在单张 L4 上支持完整 265k 上下文，峰值 71t/s、150k tokens 后仍保持 35t/s
• 多框架兼容：支持 llama.cpp、vLLM、SGLang、Transformers、Unsloth Studio、Docker Model Runner 等
• 优于前代 Qwen3.5：在开放式搜索任务中展现更好的新发现能力

• CPU-only 推理速度慢约 30%：Unsloth GGUF 在纯 CPU 环境下比同类量化同行的 t/s 低约 30%
• CPU-only 下 followup 响应延迟高：首次后续响应延迟 25-29 秒，而同类替代方案仅为 14-20 秒
• CUDA 13.2 兼容性问题：已知在 CUDA 13.2 环境下产生乱码输出

• 社区实测Qwen3.6-35B-A3B GGUF from Unsloth is quite a bit slower?
• 社区实测2-bit Qwen3.6-35B-A3B GGUF is amazing! Made 30+ ...
• 社区实测I've been running this on my laptop with the Unsloth 20.9GB GGUF in LM Studio: h... | Hacker News
• 社区实测Qwen3.6-35B-A3B GGUF Performance Benchmarks.
• 社区实测Anyone else getting gibberish when running unsloth ...
• 社区实测Qwen3.6-35-A3B outperforms on 21 of 22 model sizes in GGUF ...
• 社区实测Big W for local AI runners 🙌🏻 SOTA GGUF quants for Qwen3.6-35B-A3B ...
• 独立评测Qwen3.6-35B-A3B on my laptop drew me a better pelican ...
• 官方/厂商unsloth/Qwen3.6-35B-A3B-GGUF
• 官方/厂商unsloth/Qwen3.6-35B-A3B-GGUF · Qwen3.6 GGUF Benchmarks

可信度HuggingFace下载52.5万次，Qwen官方训练，LM Studio量化发布