Qwen3.5-2B-OptiQ-4bit (mlx-community)

独立证据与社区反馈

3 个独立来源 · 另 1 官方/转载最近验证 2026-06-21

该 2B OptiQ 量化版仅 1.4 GB,定位为本地轻量聊天与分类任务,混合精度方案在同等体积下全面优于统一 4-bit 量化;但 48% 的 Capability Score 明显低于同系列 4B(81.5%)和 9B(90%),社区对这个最小尺寸版本的独立实测讨论较少。

• 混合精度量化(敏感层 8-bit、鲁棒层 4-bit)在同等磁盘占用下全面超越统一 4-bit 量化
• 仅 1.4 GB 磁盘占用,适合资源极度受限的本地部署
• MLX 原生格式,无需 PyTorch 与云端,Apple Silicon 本地即可运行
• 支持 optiq serve --mtp 一键启动推理服务
• 可与 Hermes Agent 等工具直接集成

• Capability Score 仅 48%,远低于同系列 4B(81.5%)和 9B(90%),能力上限有限
• MLX 模型在 LM Studio 中 prompt caching 目前存在已知 bug
• 部分 MLX 版 Qwen3.5 存在崩溃和无视设置强行注入 thinking 标签的社区反馈

• 独立评测Qwen3.5 on Apple Silicon: six mlx-optiq quants
• 社区实测MLX Downloading for Local Use
• 社区实测Is there a "good" version of Qwen3.5-30B-A3B for MLX?
• 官方/厂商mlx-community/Qwen3.5-2B-OptiQ-4bit · Hugging Face

可信度3.9k下载,9赞,能力分47.66(超统一4-bit +2.12),HumanEval+11.6%