Qwen3.6-35B-A3B-OptiQ-4bit (mlx-community)

独立证据与社区反馈

5 个独立来源 · 另 1 官方/转载最近验证 2026-06-21

OptiQ 4-bit 混合精度量化在六项能力评分上全面超越同体积的均匀 4-bit 量化,磁盘占用仅多约 5%;Qwen3.6-35B-A3B 以 3B 激活参数在 SWE-bench Verified 拿下 73.4%,被社区视为本地编码场景的突破性 MoE 模型。MLX 生态下上下文缓存与编码任务表现明显优于 GGUF,但 mlx-optiq 框架的代码仓库与开发者归属仍不透明。

• 混合精度量化(敏感层 8-bit、鲁棒层 4-bit)在六项能力评分中全面超越同体积均匀 4-bit 量化
• SWE-bench Verified 得分 73.4%,仅激活约 3B 参数即可运行,可在本地笔记本部署
• MLX 上下文缓存使聊天历史增长时仍能近即时响应
• MLX 在上下文密集的编码任务上显著优于 GGUF
• 35B 模型容量仅需约 3B 计算开销,兼顾表达能力与推理速度
• 在 Mac Studio M3 上 4-bit 模型推理速度与输出质量表现惊人
• 支持通过 optiq serve --mtp 启用 Multi-Token Prediction 推理

• mlx-optiq 的代码仓库与开发者身份不明确,社区对其透明度存疑
• MLX 在 LM Studio 中的 prompt caching 目前处于损坏状态
• Mac 上流畅运行本地 LLM 需要至少 32GB 内存

• 社区实测Is mlx-optiq legit? Has anyone tested the new quants for Gemma4 ...
• 独立评测MLX vs GGUF: Ultimate Comparison - YouTube
• 社区实测Qwen 3.5 for MLX is like its own industrial revolution - Reddit
• 社区实测MLX Downloading for Local Use - MLX Community VS Unsloth?
• 独立评测Qwen3.6-35B-A3B: 73.4% SWE-Bench, Runs Locally
• 官方/厂商mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit - Hugging Face

可信度6项基准均分76.78, 超uniform-4bit 1.12, MTP加速1.4×