指南 / 文本生成模型 / 8GB 显存能跑

8GB 显存能跑的文本生成模型

共 10 个

显存档为包含式:更低显存也能跑的模型一并列在此。数值取 Q4 量化后显存估算。

优先看

以下是编辑复核后的起点,完整候选仍见下表。

Apple Silicon(MLX)

1. Bonsai-8B-mlx-1bit (PrismML)

   Apple Silicon 的 1-bit LLM，端侧极低内存推理

   • 标注支持 MLX(Apple Silicon)运行时
   • 实测显存门槛在本档之内
   • 有可直接运行的部署命令
   • 有社区实测记录

• Qwen3.5-9B-Atlassian-Q4-mlx (LeanZero)

  LoRA · 基于 Qwen3.5-9B

  面向 Atlassian Forge 的 6-bit MLX 模型

  参数量

  9B

  商用

  可商用

  当前运行配置 Mihai-LeanZero/Qwen3.5-9B-Atlassian-Q4-mlx

  显存

  ~5.4GB 4-bit(估算)

  查看详情

  查看运行方式

  mlx_lm.generate --model Mihai-LeanZero/Qwen3.5-9B-Atlassian-Q4-mlx --prompt "Which Forge module adds a panel to the Jira issue view?"

  复制

  许可证

  Apache-2.0

  上下文

  32k

  国内可达

  需代理

  其它形态

  MLX·mihai-leanzero · MLX·mihai-leanzero

• LFM2.5-2.6B (LiquidAI)

  量化自 LFM2.5-2.6B

  Apple Silicon 用 4-bit 量化 LFM，始终思考模式

  参数量

  2.6B

  商用

  需自查

  本档靠 lmstudio-community/LFM2.5-2.6B-MLX-4bit (4bit)

  显存

  ~1.6GB 4-bit(估算)

  下方显存与命令都属于这个配置

  查看详情

  查看运行方式

  mlx_lm.generate --model lmstudio-community/LFM2.5-2.6B-MLX-4bit

  复制

  许可证

  LFM Open License v1.0

  上下文

  128k

  国内可达

  需代理

  其它形态

  原生 · GGUF·liquidai · GGUF·lmstudio · 4bit · 8bit

• Maple-Preview (DeepGrove)

  20B-A1B 三元推理模型，M4 218 tok/s

  参数量

  20B-A1B

  商用

  可商用

  当前运行配置 deepgrove/maple-preview

  显存

  ~5.4GB ternary(估算)

  查看详情

  暂无收录命令

  本站暂未收录这个配置的命令;请看详情页或官方仓库,不借用其它配置的命令。

  许可证

  MIT

  上下文

  131k

  国内可达

  需代理

• Ornith-1.0-9B (DeepReinforce)

  量化自 Ornith-1.0-9B

  MLX 8-bit量化，为Apple Silicon优化

  参数量

  9B

  商用

  可商用

  本档靠 lmstudio-community/Ornith-1.0-9B-MLX-4bit (4bit)

  显存

  ~5.4GB 4-bit(估算)

  下方显存与命令都属于这个配置

  查看详情

  查看运行方式

  mlx_lm.generate --model lmstudio-community/Ornith-1.0-9B-MLX-4bit

  复制

  许可证

  mit

  上下文

  256k

  国内可达

  需代理

  其它形态

  原生 · GGUF·deepreinforce-ai · GGUF·lmstudio · 4bit · 8bit · GGUF·protolabsai

• Bonsai-27B (Prism ML)

  量化自 Bonsai-27B-unpacked

  多模态 27B 模型，纯 Q1_0 量化，语言部分仅 3.8 GB

  参数量

  27B

  商用

  可商用

  当前运行配置 prism-ml/Bonsai-27B-gguf

  显存

  ~4.1GB 1-bit(估算)

  查看详情

  查看运行方式(还有 1 种)

  ollama run hf.co/prism-ml/Bonsai-27B-gguf

  复制

  其它 1 种运行方式见详情页。

  许可证

  Apache-2.0

  上下文

  262K

  国内可达

  需代理

  其它形态

  GGUF·prism-ml · GGUF·lmstudio

• gear-manual-qwen3-4b (Raindog)

  量化自 Qwen3-4B

  面向硬件音乐设备的本地助手，基于Qwen3-4B微调

  参数量

  4B

  商用

  不可商用

  当前运行配置 zak-raindog/gear-manual-qwen3-4b

  显存

  ~2.4GB 4-bit(估算)

  查看详情

  查看运行方式

  mlx_lm.generate --model zak-raindog/gear-manual-qwen3-4b --prompt "如何使用EP-133?"

  复制

  许可证

  cc-by-nc-4.0

  国内可达

  需代理

• Bonsai-27B-mlx-1bit (Prism ML)

  量化自 Qwen3.6-27B

  1-bit 27B 模型, 可在手机和笔记本本地运行推理

  参数量

  27B

  商用

  可商用

  当前运行配置 prism-ml/Bonsai-27B-mlx-1bit

  显存

  ~4.1GB 1-bit(估算)

  查看详情

  查看运行方式

  mlx_lm.generate --model prism-ml/Bonsai-27B-mlx-1bit

  复制

  许可证

  apache-2.0

  上下文

  262K

  国内可达

  需代理

• BitCPM-CANN-8B (OpenBMB)

  昇腾原生1.58-bit三元LLM，推理内存降6x，保持95.7%性能

  参数量

  8B

  商用

  可商用

  当前运行配置 openbmb/BitCPM-CANN-8B

  显存

  ~2.2GB ternary(估算)

  查看详情

  查看运行方式(还有 1 种)

  ollama create 从 https://huggingface.co/openbmb/BitCPM-CANN-8B-gguf 导入

  复制

  其它 1 种运行方式见详情页。

  许可证

  apache-2.0

  国内可达

  需代理

• Meta-Llama-3-8B-Instruct-4bit (mlx-community)

  Llama-3-8B 4-bit版，M系列芯片本地推理

  参数量

  8B

  商用

  限制商用

  当前运行配置 mlx-community/Meta-Llama-3-8B-Instruct-4bit

  显存

  ~4.8GB 4-bit(估算)

  查看详情

  查看运行方式(还有 1 种)

  pip install mlx-lm && mlx_lm.generate --model mlx-community/Meta-Llama-3-8B-Instruct-4bit --prompt "hello"

  复制

  其它 1 种运行方式见详情页。

  许可证

  llama3

  上下文

  8k

  国内可达

  需代理

• Bonsai-8B-mlx-1bit (PrismML)

  量化自 Bonsai-8B-unpacked

  Apple Silicon 的 1-bit LLM，端侧极低内存推理

  参数量

  8B

  商用

  可商用

  当前运行配置 prism-ml/Bonsai-8B-mlx-1bit

  显存

  ~1.2GB 1-bit(估算)

  查看详情

  查看运行方式

  pip install mlx-lm; pip install mlx@git+https://github.com/PrismML-Eng/mlx.git@prism; from mlx_lm import load; load('prism-ml/Bonsai-8B-mlx-1bit')

  复制

  许可证

  Apache-2.0

  上下文

  65k

  国内可达

  需代理

← 回到文本生成模型全部 159 个