此页是 2026-09-07 的观测快照,查看该模型当前信息 → /m/thedrainflorist__qwen36-35b-a3b-vq-38bpw/

归档 / 2026-09-07 / Qwen3.6-35B-A3B-VQ-3.8bpw (TheDrainFlorist)

Qwen3.6-35B-A3B-VQ-3.8bpw (TheDrainFlorist)

Apple Silicon VQ量化 Qwen3.6-35B-A3B

MLX

入选理由: Qwen3.6-35B-A3B 的 MLX 向量量化版，15.7GiB 可在 Apple Silicon 上用 mlx-lm 直接跑，比社区 4-bit 更小且 KL 更低，适合 24GB 内存机器。
对位
适合: Apple Silicon 本地运行 35B MoE / 低显存占用文本生成
不适合: 对精确 token 敏感的任务
规模: 35B-A3B · 未知 · Q4 ~23GB / FP16 ~84GB
授权: Apache-2.0 · 需自查
框架: mlx
血统: 量化自 Qwen3.6-35B-A3B
可信度: 下载量 1012，VQ 量化 KL 53.0 vs 4-bit 78.6

仅 safetensors · 无 pickle 加载风险

快速上手示例

python -m mlx_lm generate --model TheDrainFlorist/Qwen3.6-35B-A3B-VQ-3.8bpw

依赖版本和硬件参数请以源仓库说明为准。

评分详情

Q1: 今天能接上用吗 5 / 5
Q2: 有可信证据吗 1 / 5
Q3: 是新东西吗 1 / 5
总分: 7

HuggingFace 原始数据 (抓取于 2026-09-07)

作者: TheDrainFlorist
任务类型: text-generation
推理库: mlx
下载: 1,012
点赞: 0
许可证: Apache-2.0
标签: mlx, safetensors, qwen3_5_moe, quantized, vector-quantization, apple-silicon, qwen3.6, text-generation, conversational, en, base_model:Qwen/Qwen3.6-35B-A3B, base_model:quantized:Qwen/Qwen3.6-35B-A3B, license:apache-2.0, 2-bit, region:us

探索