7B 密集解码器，512K 上下文，面向推理/代码/长上下文
适合512K 长上下文推理与代码 / Agent 工具调用 / 终端任务
短板低延迟短输出场景
Q4 ~5.9GB / FP16 ~22GB · apache-2.0 · 512k · vllm需自查
证据1256 下载 / 72 赞
本期 (5)
36B/4B 激活 MoE+MoVA，面向 agent 与长上下文
适合Agent 工具调用与终端操作 / 512k 长上下文推理
短板低显存/内存本地部署
Q4 ~24GB / FP16 ~86GB · Apache-2.0 · 512k · llama.cpp需自查
证据3112 下载 / 73 赞
Apple Silicon 用 Qwen3.8-27B 量化版
- MLX
- 已量化
适合Apple Silicon 本地低内存推理 / 低体积下与 bf16 近似的文本生成
短板需任务评测分数的场景
Q4 ~8GB / FP16 ~29GB · Apache-2.0 · 未知 · mlx-lm需自查
证据1246 下载
Qwen3.8-27B MLX 向量量化版
- MLX
- 已量化
适合Apple Silicon 本地 27B 推理 / MLX 免补丁加载
短板非 Apple Silicon 场景
Q4 ~13GB / FP16 ~46GB · apache-2.0 · 未知 · mlx需自查
证据1432 下载 / 1 赞
Apple Silicon 本地运行的 27B 向量量化文本生成模型
- MLX
- 已量化
适合Apple Silicon 本地推理 / 量化损失对比研究
短板非 Apple Silicon 平台或高精度应用
Q4 ~8.5GB / FP16 ~31GB · Apache-2.0 · 未知 · mlx-lm需自查
证据1214 下载