Qwen3.6-35B-A3B-VQ-3.4bpw (TheDrainFlorist)

Apple 芯片 13.8GiB VQ 量化，24GB 可跑

入选理由: 13.8GB 的 Qwen3.6 量化版，Apple Silicon 上可直接跑，速度约 66 tok/s，比同尺寸 4-bit 量化质量更好，适合 24GB 内存 Mac 本地部署。
对位: 对位 Qwen3-30B-A3B / Llama-3.2-3B
适合: Apple Silicon 本机运行与推理 / 较 4-bit 更小体积的量化部署
不适合: 追求最低 perplexity 或最高质量
规模: 35B-A3B · 未知 · Q4 ~23GB / FP16 ~84GB
授权: apache-2.0 · 需自查
框架: mlx-lm / mlx_vlm
血统: 量化自 Qwen3.6-35B-A3B
可信度: 1407 下载；自报 ppl 1.029x vs 4-bit 1.041x

仅 safetensors · 无 pickle 加载风险

快速上手示例

python -m mlx_lm generate --model TheDrainFlorist/Qwen3.6-35B-A3B-VQ-3.4bpw --prompt 'Explain the difference between a mutex and a semaphore.' --max-tokens 512

依赖版本和硬件参数请以源仓库说明为准。

评分详情

Q1: 今天能接上用吗 5 / 5
Q2: 有可信证据吗 1 / 5
Q3: 是新东西吗 1 / 5
总分: 7

HuggingFace 原始数据 (抓取于 2026-09-10)

作者: TheDrainFlorist
任务类型: text-generation
推理库: mlx
下载: 1,407
点赞: 0
许可证: apache-2.0
标签: mlx, safetensors, qwen3_5_moe, quantized, vector-quantization, apple-silicon, qwen3.6, multimodal, text-generation, conversational, en, base_model:Qwen/Qwen3.6-35B-A3B, base_model:quantized:Qwen/Qwen3.6-35B-A3B, license:apache-2.0, 2-bit, region:us

探索

源链接