Qwen3.5-0.8B-OptiQ-4bit (mlx-community)

独立证据与社区反馈

3 个独立来源 · 另 2 官方/转载最近验证 2026-06-21

Qwen3.5-0.8B-OptiQ-4bit 是 mlx-optiq 为 Apple Silicon 产出的灵敏度感知混合精度 4-bit 量化版本，在六项能力评分上全面超越统一 4-bit 量化，体积仅约 0.5 GB；社区反馈 Qwen 3.5 在 MLX 上推理速度极快，适合轻量本地任务。

• 灵敏度感知混合精度量化：敏感层保留 8-bit，鲁棒层压缩至 4-bit，同等磁盘占用下全面超越统一 4-bit 量化
• 体积仅约 0.5 GB，适合 Apple Silicon 设备本地部署，资源占用极低
• 内置 MTP head，通过 optiq serve --mtp 可获得 1.4× 解码加速
• 在六项能力评分的每一项基准上均优于统一 4-bit 量化
• 可在 MacBook 和 iPhone 上完全离线运行，支持本地编程和视觉任务
• Qwen 3.5 在 MLX 上推理速度极快，社区反馈 Mac Studio M3 上 4-bit 模型速度令人惊叹

• 能力评分仅 27.0%，官方定位为玩具代理和提示词重写器，不适合复杂推理或生产级应用
• omlx v0.2.20 升级后曾出现 Internal server error，社区工具链稳定性有待观察
• 0.8B 参数规模天然受限，仅适合极轻量场景

• 社区实测Qwen 3.5 for MLX is like its own industrial revolution : r/Qwen_AI
• 独立评测Qwen3.5 family · getting started · mlx-optiq
• 独立评测Qwen 3.5 Small Models Are INCREDIBLE! (Testing 0.8B & 2B On Edge Devices)
• 官方/厂商mlx-community/Qwen3.5-0.8B-OptiQ-4bit · Hugging Face
• 转载/仓库"Internal server error" after upgrading to `v0.2.20` · Issue #361 · jundot/omlx · GitHub

可信度下载 4.8k，mlx-community 出品，能力评分 +4.27 超均匀 4-bit