16GB 显存能跑的文本生成模型
共 18 个
显存档为包含式:更低显存也能跑的模型一并列在此。数值取 Q4 量化后显存估算。
优先看
以下是编辑复核后的起点,完整候选仍见下表。
Apple Silicon(MLX)
- Qwen3.6-27B-MTPLX (Youssofal)
Qwen3.6-27B 的 MLX 推理加速版供苹果芯片
- 标注支持 MLX(Apple Silicon)运行时
- 实测显存门槛在本档之内
- 商用状态已判定
- 有社区实测记录
- Ornith-1.0-35B-MLX (deepreinforce-ai)
Apple Silicon 上 Claude-Code 式本地编码代理
- 标注支持 MLX(Apple Silicon)运行时
- 实测显存门槛在本档之内
- 有可直接运行的部署命令
- 提供 MLX 权重形态
Qwen3.5-9B-Atlassian-Q4-mlx (LeanZero)
LoRA · 基于 Qwen3.5-9B
面向 Atlassian Forge 的 6-bit MLX 模型
- 参数量
- 9B
- 商用
- 可商用
当前运行配置
Mihai-LeanZero/Qwen3.5-9B-Atlassian-Q4-mlx- 显存
- ~5.4GB 4-bit(估算)
查看详情查看运行方式
mlx_lm.generate --model Mihai-LeanZero/Qwen3.5-9B-Atlassian-Q4-mlx --prompt "Which Forge module adds a panel to the Jira issue view?"- 许可证
- Apache-2.0
- 上下文
- 32k
- 国内可达
- 需代理
- 其它形态
- MLX·mihai-leanzero · MLX·mihai-leanzero
本档靠
Mihai-LeanZero/Qwen3.8-27B-Atlassian-Q4-mlx(MLX·mihai-leanzero)- 显存
- ~16GB 4-bit(估算)
下方显存与命令都属于这个配置
查看详情查看运行方式
mlx_lm.generate --model Mihai-LeanZero/Qwen3.8-27B-Atlassian-Q4-mlx --prompt "Which Forge module adds a panel to the Jira issue view?"- 许可证
- Apache-2.0
- 上下文
- 128k
- 国内可达
- 需代理
- 其它形态
- MLX·mihai-leanzero · MLX·mihai-leanzero
当前运行配置
Youssofal/Qwen3.8-27B-MTPLX-Bare-Speed- 显存
- ~16GB 4-bit(估算)
查看详情查看运行方式
mlx_lm.generate --model Youssofal/Qwen3.8-27B-MTPLX-Bare-Speed- 许可证
- Apache-2.0
- 上下文
- 262k
- 国内可达
- 需代理
当前运行配置
Youssofal/Qwen3.8-27B-MTPLX-Optimized-Speed- 显存
- ~16GB 4-bit(估算)
查看详情查看运行方式
mtplx serve --model Youssofal/Qwen3.8-27B-MTPLX-Optimized-Speed- 许可证
- apache-2.0
- 上下文
- 262k
- 国内可达
- 需代理
当前运行配置
EschaLabs/Qwen3.8-27B-Escha-W2- 显存
- ~9.2GB 2-bit(估算)
查看详情暂无收录命令
本站暂未收录这个配置的命令;请看详情页或官方仓库,不借用其它配置的命令。
- 许可证
- Apache-2.0
- 上下文
- 128k
- 国内可达
- 需代理
本档靠
lmstudio-community/LFM2.5-2.6B-MLX-4bit(4bit)- 显存
- ~1.6GB 4-bit(估算)
下方显存与命令都属于这个配置
查看详情查看运行方式
mlx_lm.generate --model lmstudio-community/LFM2.5-2.6B-MLX-4bit- 许可证
- LFM Open License v1.0
- 上下文
- 128k
- 国内可达
- 需代理
- 其它形态
- 原生 · GGUF·liquidai · GGUF·lmstudio · 4bit · 8bit
当前运行配置
deepgrove/maple-preview- 显存
- ~5.4GB ternary(估算)
查看详情暂无收录命令
本站暂未收录这个配置的命令;请看详情页或官方仓库,不借用其它配置的命令。
- 许可证
- MIT
- 上下文
- 131k
- 国内可达
- 需代理
本档靠
lmstudio-community/Ornith-1.0-9B-MLX-4bit(4bit)- 显存
- ~5.4GB 4-bit(估算)
下方显存与命令都属于这个配置
查看详情查看运行方式
mlx_lm.generate --model lmstudio-community/Ornith-1.0-9B-MLX-4bit- 许可证
- mit
- 上下文
- 256k
- 国内可达
- 需代理
- 其它形态
- 原生 · GGUF·deepreinforce-ai · GGUF·lmstudio · 4bit · 8bit · GGUF·protolabsai
Qwen3.6-35B-A3B-Escha-W2 (EschaLabs)
量化自 Qwen3.6-35B-A3B
2-bit Qwen3.6-35B-A3B，12.3GB，单卡本地推理
- 参数量
- 35B (3B active)
- 商用
- 可商用
当前运行配置
EschaLabs/Qwen3.6-35B-A3B-Escha-W2- 显存
- ~12GB 2-bit(估算)
查看详情暂无收录命令
本站暂未收录这个配置的命令;请看详情页或官方仓库,不借用其它配置的命令。
- 许可证
- Apache-2.0
- 上下文
- 128k
- 国内可达
- 需代理
当前运行配置
FINAL-Bench/POCKET-KR-MLX- 显存
- ~12GB 2-bit(估算)
查看详情查看运行方式
mlx_lm.generate --model FINAL-Bench/POCKET-KR-MLX- 许可证
- Apache-2.0
- 国内可达
- 需代理
当前运行配置
zak-raindog/gear-manual-qwen3-4b- 显存
- ~2.4GB 4-bit(估算)
查看详情查看运行方式
mlx_lm.generate --model zak-raindog/gear-manual-qwen3-4b --prompt "如何使用EP-133?"- 许可证
- cc-by-nc-4.0
- 国内可达
- 需代理
当前运行配置
prism-ml/Bonsai-27B-mlx-1bit- 显存
- ~4.1GB 1-bit(估算)
查看详情查看运行方式
mlx_lm.generate --model prism-ml/Bonsai-27B-mlx-1bit- 许可证
- apache-2.0
- 上下文
- 262K
- 国内可达
- 需代理
Ornith-1.0-35B-MLX (deepreinforce-ai)
量化自 Ornith-1.0-35B
Apple Silicon 上 Claude-Code 式本地编码代理
- 参数量
- 35B (3B 活跃)
- 商用
- 需自查
当前运行配置
nathansutton/Ornith-1.0-35B-UD-Q2_K_XL-MLX- 显存
- ~12GB 2-bit(估算)
查看详情查看运行方式
uvx --from git+https://github.com/nathansutton/mlxcc chad- 国内可达
- 需代理
当前运行配置
prism-ml/Bonsai-8B-mlx-1bit- 显存
- ~1.2GB 1-bit(估算)
查看详情查看运行方式
pip install mlx-lm; pip install mlx@git+https://github.com/PrismML-Eng/mlx.git@prism; from mlx_lm import load; load('prism-ml/Bonsai-8B-mlx-1bit')- 许可证
- Apache-2.0
- 上下文
- 65k
- 国内可达
- 需代理