指南 / 文本生成模型

文本生成模型

共 91 个 · 数据更新于 2026-07-23

显存档为包含式:更低显存也能跑的模型一并计入。数值取 Q4 量化后估算。

16GB 显存/内存能跑什么本地大模型(2026-07)

先按「Q4 估算明显超 16GB 且库内没有更低位形态」筛掉 11 个不现实的选项,再按用途挑几个能直接上手的。

阅读完整指南 →

模型参数量显存门槛上下文许可证商用语言国内可达部署
Laguna-S-2.1-NVFP4 (poolside)
量化自 Laguna-S-2.1
117.6B (8.5B 激活)~75GB 8-bit256KOpenMDW-1.1需自查—需代理vllm serve poolside/Laguna-S-2.1-NVFP4
Nanbeige4.2-3B (Nanbeige) 3B (4B 总参数)~1.8GB 4-bit131kapache-2.0可商用—需代理ollama run nanbeige/nanbeige4.2:3b-Q4_K_M
Ornith-35B-MLX (AtomicChat)
量化自 Ornith-1.0-35B
35B~38GB 8-bit256KMIT可商用—需代理mlx_lm.generate --model AtomicChat/ornith-35b-MLX-8bit --prompt Hello
Ornith-35b-MLX-6bit (AtomicChat)
量化自 Ornith-1.0-35B
35B~21GB 4-bit256KMIT可商用—需代理mlx_lm.generate --model AtomicChat/ornith-35b-MLX-6bit --prompt 'Hello'
Ornith-1.0-35B (DeepReinforce)
微调自 Qwen3.5-35B-A3B
原生 · FP8 · GGUF·deepreinforce-ai · GGUF·unsloth
35B (MoE)~39GB FP8256kMIT可商用—需代理llama-server -hf deepreinforce-ai/Ornith-1.0-35B-GGUF --port 8000 -c 262144 等 3 种
GPT-OSS-20B (OpenAI)
量化自 gpt-oss-20b
20B (MoE)~7.1GB 2-bit—Apache 2.0需自查—需代理mlx_lm.generate --model majentik/gpt-oss-20b-TurboQuant-MLX-2bit --prompt '你的提示'
gear-manual-qwen3-4b (Raindog)
量化自 Qwen3-4B
4B~2.4GB 4-bit—cc-by-nc-4.0不可商用—需代理mlx_lm.generate --model zak-raindog/gear-manual-qwen3-4b --prompt "如何使用EP-133?"
Qwen3.6-35B-A3B (andreaborio)
量化自 Qwen3.6-35B-A3B
35B (3B 激活)~21GB 4-bit—apache-2.0可商用—需代理ollama run hf.co/andreaborio/Qwen3.6-35B-A3B-DS4-ExpertMajor-v1-GGUF 等 2 种
Bonsai-27B-mlx-1bit (Prism ML)
量化自 Qwen3.6-27B
27B~4.1GB 1-bit262Kapache-2.0可商用—需代理mlx_lm.generate --model prism-ml/Bonsai-27B-mlx-1bit
Dolphin3-Cyber-8B (RavichandranJ)
量化自 Dolphin3.0-Llama3.1-8B-abliterated
8B~4.8GB 4-bit2kllama3.1限制商用—需代理ollama run hf.co/RavichandranJ/Dolphin3-Cyber-8B-GGUF
Hy-MT2-30B-A3B-APEX (Tencent) 30B (3B 激活)~18GB 4-bit—Apache-2.0可商用—需代理ollama run hf.co/alphaZimuth/Hy-MT2-30B-A3B-APEX-GGUF
Hy3-GGUF (腾讯)
量化自 Hy3
——65536apache-2.0可商用—魔搭可用ollama run hf.co/AngelSlim/Hy3-GGUF
MiniCPM5-1B-Thinking (OpenBMB)
微调自 MiniCPM5-1B
原生 · GGUF
1B~0.6GB 4-bit128kApache-2.0可商用—需代理ollama run hf.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF
Bonsai-27B (Prism ML)
量化自 Qwen3.6-27B
27B~4.1GB 1-bit262KApache 2.0需自查—需代理ollama run hf.co/prism-ml/Bonsai-27B-gguf 等 2 种
Nemotron-3-Nano-30B-A3B (NVIDIA) 30B (3B 激活)~33GB 8-bit—nvidia-open-model-license需自查—需代理mlx_lm.generate --model mlx-community/NVIDIA-Nemotron-3-Nano-30B-A3B-OptiQ-4bit
Qwen3.5-35B-A3B (Qwen) 35B (3B 激活)~39GB 8-bit128kapache-2.0可商用—需代理mlx_lm.generate --model mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit --prompt 'Explain quantum computing.' --max-tokens 200
Ternary Bonsai 27B (prism-ml) 27B~7.3GB ternary262kapache-2.0可商用—需代理llama-server -hf prism-ml/Ternary-Bonsai-27B-gguf
Ternary-Bonsai-27B (Prism ML)
量化自 Qwen3.6-27B
27B~7.3GB ternary262KApache-2.0可商用—需代理ollama run hf.co/prism-ml/Ternary-Bonsai-27B-gguf 等 2 种
Qwen3.6-35B-A3B-VQ (aquaman164)
量化自 Qwen3.6-35B-A3B
35B (3B激活)~21GB 4-bit128kApache-2.0可商用—需代理huggingface-cli download aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw --local-dir qwen-vq && python qwen-vq/code/vq_serve.py --model qwen-vq
Ornith-1.0-35B-MLX (deepreinforce-ai)
量化自 Ornith-1.0-35B
35B (3B 活跃)~12GB 2-bit——需自查—需代理uvx --from git+https://github.com/nathansutton/mlxcc chad
Qwen3.5-9B-OptiQ-4bit (mlx-community)
量化自 Qwen3.5-9B
9B~9.8GB 8-bit128kapache-2.0可商用—需代理mlx_lm.generate --model mlx-community/Qwen3.5-9B-OptiQ-4bit
Qwythos-9B-v2 (Empero AI)
微调自 Qwythos-9B-Claude-Mythos-5-1M
原生 · GGUF
9B~5.8GB 4-bit1048kApache-2.0可商用—需代理vllm serve empero-ai/Qwythos-9B-v2 --trust-remote-code
Nemotron-Labs-Audex-2B (NVIDIA) 2B~1.2GB 4-bit128kNVIDIA OneWay Noncommercial License需自查—需代理python -c "from transformers import AutoModel; AutoModel.from_pretrained('nvidia/Nemotron-Labs-Audex-2B', trust_remote_code=True)"
Nemotron-Labs-Audex-30B-A3B (NVIDIA) 30B MoE (3B激活)~18GB 4-bit1MNVIDIA Oneway Noncommercial License需自查—需代理python -c "from transformers import AutoModelForCausalLM; AutoModelForCausalLM.from_pretrained('nvidia/Nemotron-Labs-Audex-30B-A3B', trust_remote_code=True)"
NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B (NVIDIA)
量化自 NVIDIA-Nemotron-3-Super-120B-A12B-BF16
75B (9.3B active)~49GB 8-bit1MOpenMDW-1.1需自查—需代理vllm serve nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4 --trust-remote-code --mamba-backend flashinfer
Supra-Router-51M (SupraLabs)
微调自 Supra-1.5-50M-Base-exp
51M~0.1GB 4-bit3840—需自查—需代理AutoModelForCausalLM.from_pretrained('SupraLabs/Supra-Router-51M')
Grug-12B (kai-os)
微调自 gemma-4-12B-it
12B~7.2GB 4-bit—other需自查—需代理ollama run hf.co/kai-os/Grug-12B
Agents-A1 (InternScience)
量化自 Agents-A1
原生 · GGUF
35B MoE~21GB 4-bit262kApache 2.0需自查—魔搭可用vllm serve InternScience/Agents-A1 --port 8000 --tensor-parallel-size 1 --max-model-len 262144 --reasoning-parser qwen3 等 2 种
Nova-1-Standard-1.3B (Smilyai Labs) 1.27B~0.8GB 4-bit2048apache-2.0可商用—需代理pipeline('text-generation', model='Smilyai-labs/Nova-1-Standard-1.3B-Preview', trust_remote_code=True, device_map='auto')
Qwen3.6-35B-A3B (Qwen)
量化自 Qwen3.6-35B-A3B
35B (3B 激活)~7.7GB ternary—Apache-2.0可商用—需代理pip install 'turboquant-mlx-full>=0.12.3' && python -m turboquant_mlx.generate --model manjunathshiva/Qwen3.6-35B-A3B-tq3a-tqTe-g64
Gemma4-Gutenberg-31B-Heretic-mlx-8Bit (ailexleon)
量化自 Gemma4-Gutenberg-31B-Heretic
31B~34GB 8-bit—apache-2.0可商用—需代理mlx_lm.generate --model ailexleon/Gemma4-Gutenberg-31B-Heretic-mlx-8Bit --prompt 'hello'
Laguna XS 2.1 (poolside) 33B (3B 激活)~20GB 4-bit262kOpenMDW-1.1需自查—需代理ollama run laguna-xs-2.1
Ornith-1.0-9B (DeepReinforce)
量化自 Ornith-1.0-9B
原生 · GGUF·deepreinforce-ai · GGUF·protolabsai
9B~5.4GB 4-bit256kMIT可商用—需代理llama-server -hf deepreinforce-ai/Ornith-1.0-9B-GGUF --port 8000 -c 262144 等 3 种
Huihui-GLM-5.2-GGUF (huihui-ai) ———MIT可商用—需代理llama-server -m ./glm52/GLM-5.2-UD-IQ1_M.gguf -c 4096（需编译llama.cpp） 等 2 种
Nemotron-Labs-TwoTower-30B-A3B (NVIDIA) 30B (3B 激活)~18GB 4-bit128kNVIDIA Nemotron Open Model License需自查—需代理python3 -c "from transformers import AutoModelForCausalLM; AutoModelForCausalLM.from_pretrained('nvidia/Nemotron-Labs-TwoTower-30B-A3B-Base-BF16',trust_remote_code=True,torch_dtype='bfloat16').cuda()" (单GPU AR模式,约59GB显存) 等 2 种
Qwen3.6-27B-NVFP4 (NVIDIA) 27B~30GB 8-bit262kApache-2.0可商用—需代理vllm serve nvidia/Qwen3.6-27B-NVFP4 --port 8000 --quantization modelopt --max-model-len 262144 --reasoning-parser qwen3
LFM2.5-8B-A1B-APEX (LiquidAI / LocalAI)
量化自 LFM2.5-8B-A1B
8B (激活1B)~4.8GB 4-bit—LFM1.0需自查—需代理llama-server -hf mudler/LFM2.5-8B-A1B-APEX-GGUF:LFM2.5-8B-A1B-APEX-I-Balanced.gguf 等 2 种
BugTraceAI-CORE-Ultra-27B (BugTraceAI)
量化自 Qwen3.6-27B-Heretic2-Uncensored-Finetune-Thinking
27B~16GB 4-bit4096Apache-2.0可商用—需代理python -c "from llama_cpp import Llama; Llama.from_pretrained(repo_id='BugTraceAI/BugTraceAI-CORE-Ultra-27B-Q4', filename='BugTraceAI-CORE-Ultra-SFT-Q6_K.gguf')" 等 2 种
LFM2.5-230M (LiquidAI)
量化自 LFM2.5-230M
原生 · GGUF
230M~0.1GB 4-bit32768LFM1.0需自查—需代理llama-server -hf LiquidAI/LFM2.5-230M-GGUF 等 3 种
Mythos-nano (squ11z1)
量化自 VibeThinker-3B
3B~1.9GB 4-bit—MIT可商用—需代理ollama run hf.co/squ11z1/Mythos-nano 等 4 种
Mythos-nano (squ11z1)
量化自 Mythos-nano
———MIT可商用—需代理from llama_cpp import Llama; llm = Llama.from_pretrained(repo_id='mradermacher/Mythos-nano-i1-GGUF', filename='Mythos-nano.i1-Q4_K_M.gguf') 等 2 种
Qwen3.6-27b-Fable5 (hotdogs)
LoRA · 基于 Qwen3.6-27B
27B (基座) + LoRA~16GB 4-bit——需自查—需代理vllm serve Qwen/Qwen3.6-27B --enable-lora --lora-modules fable=hotdogs/qwen3.6-27b-fable5-lora
FastContext-1.0-4B-RL (Microsoft)
微调自 Qwen3-4B-Instruct-2507
4B~2.4GB 4-bit262kMIT可商用—需代理python3 -m sglang.launch_server --model-path microsoft/FastContext-1.0-4B-RL --tool-call-parser qwen --context-length 262144 --trust-remote-code --dtype bfloat16 --host 0.0.0.0 --port 30000 --tp-size 1 --mem-fraction-static 0.8 等 2 种
Huihui-gemma-4-12B-coder-abliterated (huihui-ai)
微调自 gemma-4-12B-coder-fable5-composer2.5-v1
12B~7.2GB 4-bit—apache-2.0可商用—需代理vllm serve huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated 等 2 种
GLM-5.2
量化自 GLM-5.2
原生 · GGUF
753.3B~452GB 4-bit1MMIT可商用—需代理—
DeepSeek-V4-Flash 158.1B~95GB 4-bit—mit可商用—魔搭可用—
DeepSeek-V4-Pro 861.6B~517GB 4-bit—mit可商用—魔搭可用—
Gemma-4-12B-it-LWQ6 (wepiqx) 12B~13GB 8-bit—Apache-2.0可商用—需代理llama-server -hf wepiqx/gemma-4-12B-it-LWQ6-GGUF:gemma-4-12b-it-LWQ6-IQ4_XS.gguf --jinja --flash-attn on -c 55555 -ngl 99 等 2 种
Gemma-4-31B-StyleTune (Gryphe)
微调自 gemma-4-31B-it
31B~20GB 4-bit—apache-2.0可商用—需代理python -c "from transformers import AutoModelForCausalLM; model = AutoModelForCausalLM.from_pretrained('Gryphe/Gemma-4-31B-StyleTune')"
VibeThinker-3B (WeiboAI)
微调自 Qwen2.5-Coder-3B
3B~1.9GB 4-bit64kMIT可商用—魔搭可用vllm serve WeiboAI/VibeThinker-3B 等 2 种
FastContext-1.0-4B-SFT (Microsoft)
微调自 Qwen3-4B-Instruct-2507
4B~2.4GB 4-bit262kMIT可商用—需代理python3 -m sglang.launch_server --model-path microsoft/FastContext-1.0-4B-SFT --tool-call-parser qwen --context-length 262144 --trust-remote-code --dtype bfloat16 --host 0.0.0.0 --port 30000 --tp-size 1 --mem-fraction-static 0.8 等 2 种
prism-coder-14b (dcostenco)
量化自 prism-coder-14b
14B~8.4GB 4-bit—apache-2.0可商用—需代理llama-server -hf mradermacher/prism-coder-14b-GGUF --model prism-coder-14b.Q4_K_M.gguf 等 2 种
prism-coder-14b (mradermacher)
量化自 prism-coder-14b
14B~8.4GB 4-bit—apache-2.0可商用—需代理llama-server --hf-repo mradermacher/prism-coder-14b-i1-GGUF --hf-file prism-coder-14b.i1-Q4_K_M.gguf 等 2 种
DiffusionGemma-26B-A4B-it-NVFP4 (NVIDIA)
量化自 diffusiongemma-26B-A4B-it
25.2B (3.8B活跃)~16GB 8-bit256kApache 2.0 (Gemma Terms)可商用—需代理VLLM_USE_V2_MODEL_RUNNER=1 vllm serve nvidia/diffusiongemma-26B-A4B-IT-NVFP4 --trust-remote-code --max-num-seqs 4 --attention-backend TRITON_ATTN --enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4 --override-generation-config '{"max_new_tokens": null}' --default-chat-template-kwargs '{"enable_thinking":true}' (需H100/B100)
Z-Image-Engineer-V6 (BennyDaBall)
微调自 Z-Image-Turbo
4B~2.4GB 4-bit—Apache-2.0可商用—需代理llama-server -hf BennyDaBall/Z-Image-Engineer-V6-GGUF 等 2 种
Averroes-Q-Instruct (hayulalab)
量化自 Averroes-Q-Instruct
7B~4.2GB 4-bit—apache-2.0可商用—需代理ollama run hf.co/mradermacher/Averroes-Q-Instruct-GGUF 等 2 种
Gemma4-12B-Coder (yuxinlu1)
量化自 gemma-4-12B-it
12B~7.2GB 4-bit131kgemma可商用—需代理ollama run hf.co/yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF 等 2 种
Quasar-Preview (silx-ai) 18B (2B active)~9.9GB 4-bit5M (实验性配置)MIT可商用—需代理python -c "from transformers import AutoModelForCausalLM; AutoModelForCausalLM.from_pretrained('silx-ai/Quasar-Preview', trust_remote_code=True)"
Delphi-25B (Marin Community) 25B~15GB 4-bit4kapache-2.0可商用—需代理transformers.from_pretrained('marin-community/delphi-1e23-25Bparams-628Btokens')
LFM2.5-1.2B-JP (LiquidAI)
微调自 LFM2.5-1.2B-Base
1.2B~0.7GB 4-bit32kLFM1.0需自查—需代理llama-server -hf LiquidAI/LFM2.5-1.2B-JP-202606-GGUF 等 3 种
Harness-1 (pat-jj)
微调自 gpt-oss-20b
20B~13GB 4-bit——需自查—需代理transformers from_pretrained('pat-jj/harness-1')
Gemma-4-12B-OBLITERATED (OBLITERATUS)
量化自 gemma-4-12B-it
12B~7.2GB 4-bit—gemma限制商用—需代理ollama run hf.co/OBLITERATUS/Gemma-4-12B-OBLITERATED 等 2 种
Nex-N2-mini (nex-agi) 35B (A3B)~21GB 4-bit—apache-2.0可商用—魔搭可用python -m sglang.launch_server --model-path ./model --tp 2 --reasoning-parser qwen3 --tool-call-parser qwen3_coder 等 2 种
Qwen3.5-0.8B-OptiQ-4bit (mlx-community)
量化自 Qwen3.5-0.8B
0.8B~0.9GB 8-bit—Apache 2.0可商用—需代理pip install mlx-lm; mlx_lm.generate --model mlx-community/Qwen3.5-0.8B-OptiQ-4bit --prompt '...' 等 2 种
Qwen3.5-2B-OptiQ-4bit (mlx-community)
量化自 Qwen3.5-2B
2B~2.2GB 8-bit—apache-2.0可商用—需代理mlx-lm generate --model mlx-community/Qwen3.5-2B-OptiQ-4bit 等 2 种
Qwen3.6-27B-MTPLX (Youssofal) 27B~16GB 4-bit—Apache-2.0可商用—需代理brew install youssofal/mtplx/mtplx 等 3 种
Qwen3.6-27B-OptiQ-4bit (mlx-community)
量化自 Qwen3.6-27B
27B~30GB 8-bit—Apache-2.0可商用—需代理mlx_lm.load('mlx-community/Qwen3.6-27B-OptiQ-4bit') 等 2 种
Qwen3.6-35B-A3B-OptiQ-4bit (mlx-community)
量化自 Qwen3.6-35B-A3B
35B-A3B~38GB 8-bit—Apache-2.0可商用—需代理optiq serve --model mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit --mtp 等 2 种
Mellum2-12B-A2.5B-Instruct (JetBrains) 12B (2.5B active)~7.3GB 4-bit131kapache-2.0可商用—需代理vllm serve JetBrains/Mellum2-12B-A2.5B-Instruct --max-model-len 131072 等 2 种
HelixLM-40M-ep1 (david-thrower) 40.1M~0.1GB 4-bit1024Modified Apache 2.0需自查—需代理transformers from_pretrained(trust_remote_code=True) 等 2 种
LFM2.5-8B-A1B (LiquidAI)
量化自 LFM2.5-8B-A1B
原生 · GGUF·liquidai · GGUF·unsloth
8.3B (1.5B active)~5.1GB 4-bit128kLFM1.0需自查—需代理transformers >= 5.0.0: AutoModelForCausalLM.from_pretrained('LiquidAI/LFM2.5-8B-A1B')
Mellum2-12B-A2.5B-Thinking (JetBrains) 12B~7.3GB 4-bit131kApache 2.0可商用—需代理vllm serve JetBrains/Mellum2-12B-A2.5B-Thinking --max-model-len 131072 --reasoning-parser qwen3 等 2 种
Qwen3.5-9B (Qwen)
量化自 Qwen3.5-9B
9B~5.4GB 4-bit32kMIT可商用—需代理ollama run hf.co/w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP 等 2 种
Qwen3.6-35B-A3B-NVFP4 (NVIDIA)
量化自 Qwen3.6-35B-A3B
35B (激活3B)~21GB 8-bit262kApache 2.0可商用—需代理vllm serve nvidia/Qwen3.6-35B-A3B-NVFP4 --quantization modelopt
BitCPM-CANN-8B (OpenBMB) 8B~2.2GB ternary—apache-2.0可商用—需代理ollama create 从 https://huggingface.co/openbmb/BitCPM-CANN-8B-gguf 导入 等 2 种
aro-coder-4bit (ARO-Lang)
LoRA · 基于 Qwen3-Coder-30B-A3B-Instruct-4bit
30B (3B active)~18GB 4-bit—MIT可商用—需代理ollama run aro-coder 等 3 种
Hy-MT2-1.8B-GGUF (Tencent)
量化自 Hy-MT2-1.8B
1.8B~1.1GB 4-bit—apache-2.0可商用—魔搭可用llama-server -hf tencent/Hy-MT2-1.8B-GGUF
Qwen3.6-27B (OBLITERATUS)
量化自 Qwen3.6-27B
26.9B~16GB 4-bit8192apache-2.0可商用—需代理ollama run hf.co/OBLITERATUS/Qwen3.6-27B-OBLITERATED 等 3 种
Meta-Llama-3-8B-Instruct-4bit (mlx-community) 8B~4.8GB 4-bit8kllama3限制商用—需代理pip install mlx-lm && mlx_lm.generate --model mlx-community/Meta-Llama-3-8B-Instruct-4bit --prompt "hello" 等 2 种
Ternary-Bonsai-8B (Prism ML)
量化自 Ternary-Bonsai-8B-unpacked
8B~2.2GB ternary65kApache-2.0可商用—需代理mlx_lm.load('prism-ml/Ternary-Bonsai-8B-mlx-2bit') 等 2 种
Granite-4.1-30B (IBM)
量化自 granite-4.1-30b
30B~18GB 4-bit—Apache 2.0可商用—需代理llama.cpp: huggingface-cli download lmstudio-community/granite-4.1-30b-GGUF --include '*.gguf' --local-dir . && ./llama-cli -m <file>
Granite-4.1-3B-GGUF (IBM)
量化自 granite-4.1-3b
3B~1.8GB 4-bit—Apache-2.0可商用—需代理llama.cpp -m granite-4.1-3b-Q4_K_M.gguf
Granite-4.1-8B-GGUF (IBM)
量化自 granite-4.1-8b
8B~4.8GB 4-bit—apache-2.0可商用—需代理llama.cpp -m granite-4.1-8b.gguf
Llama-2-7b-chat-mlx (mlx-community) 7B~4.2GB 4-bit4096llama2限制商用—需代理python mlx-examples/llama/llama.py --prompt 'Hi' model/ 等 2 种
MiniMax-M2.7 (MiniMax)
量化自 MiniMax-M2.7
2.7B~1.6GB 4-bit—other——需代理ollama create MiniMax-M2.7 -f Modelfile (FROM ./file.gguf) 等 2 种
Nemotron-Labs-Diffusion-14B (NVIDIA) 14B~8.1GB 4-bit—NVIDIA Nemotron Open Model License——需代理transformers from_pretrained()
Bonsai-8B-mlx-1bit (PrismML)
量化自 Bonsai-8B-unpacked
8B~1.2GB 1-bit65kApache-2.0可商用—需代理pip install mlx-lm; pip install mlx@git+https://github.com/PrismML-Eng/mlx.git@prism; from mlx_lm import load; load('prism-ml/Bonsai-8B-mlx-1bit')
HRM-Text-1B (sapientinc) 1B~0.7GB 4-bit4096Apache-2.0可商用—需代理AutoModelForCausalLM.from_pretrained('sapientinc/HRM-Text-1B', trust_remote_code=True) 等 2 种
Minimalism (salakash)
LoRA · 基于 Qwen2.5-Coder-0.5B-Instruct
0.5B~0.3GB 4-bit32kApache-2.0可商用—需代理mlx_lm.server --model mlx-community/Qwen2.5-Coder-0.5B-Instruct-4bit --adapter-path salakash/Minimalism --port 8080 等 2 种
Leanly_AI (jackxinning) 14B~8.4GB 4-bit—apache-2.0可商用—需代理transformers: AutoModel.from_pretrained('jackxinning/Leanly_AI')
Nandi-Mini-600M (FrontiersMind) 600M~0.4GB 4-bit2048apache-2.0可商用—需代理transformers.from_pretrained('FrontiersMind/Nandi-Mini-600M-Early-Checkpoint')

常见坑

  • 在已有代码库上修改/协作时效果急剧下降,社区反馈'失败得很惨' —— deepreinforce-ai/Ornith-1.0-35B
  • 1-bit 量化可能过度损害模型能力,8B 版本实测远逊于同量级 Gemma-4-E2B —— prism-ml/Bonsai-27B-mlx-1bit
  • 实际输出质量难以评判,1-bit 模型的可用性仍有待验证 —— prism-ml/Bonsai-27B-mlx-1bit
  • 三元(Bonsai)版本表现甚至比 1-bit 版本更差 —— prism-ml/Bonsai-27B-mlx-1bit
  • 上下文窗口偏小，长文本场景受限 —— AngelSlim/Hy3-GGUF
  • GLM 5.2 在部分横向对比中仍更强 —— AngelSlim/Hy3-GGUF
  • 预览版曾存在地理限制（EU/UK/SK 不可用），正式版已切换为 Apache 2.0 —— AngelSlim/Hy3-GGUF
  • 1B规模的固有上限，不适合需要前沿模型能力的复杂场景 —— GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking
展开其余 248 条
  • 基准测试表现不及 GLM 4.7 Flash —— mlx-community/NVIDIA-Nemotron-3-Nano-30B-A3B-OptiQ-4bit
  • 实际编码任务中不如 Claude Sonnet 可靠，跑分不等于实战 —— mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit
  • 默认推理参数（temperature/top-p/top-k/penalties）很差，必须按官方建议调整 —— mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit
  • 初次使用容易觉得表现不佳，需要精心打磨系统提示词才能发挥 —— mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit
  • API 端吞吐量仅 36 tok/s，不及 Qwen3 Coder Next 的 70 tok/s —— mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit
  • 输出上限 82K tokens，不及 Qwen3 Coder Next 的 262K —— mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit
  • 不要指望它在实际任务中挑战旗舰模型 —— mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit
  • 指令遵循缺乏精细度，不能稳定按预设流程（如自动加载指定 skill）执行 —— prism-ml/Ternary-Bonsai-27B-gguf
  • 综合实用表现（生产力助理、知识库管理）不如同配置下的其他量化模型（Qwen 3.6 27B Q2_K_XL、Gemma 4 12B QAT） —— prism-ml/Ternary-Bonsai-27B-gguf
  • Agentic coding 场景表现不佳 —— prism-ml/Ternary-Bonsai-27B-gguf
  • 视觉任务能力明显弱于同级替代方案 —— prism-ml/Ternary-Bonsai-27B-gguf
  • 长上下文提示处理延迟突出，38K token 的 prompt 处理耗时 17.3 秒 —— aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw
  • 对 prompt 格式异常敏感，会在与上下文冲突时强行将示例塞入回答 —— aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw
  • 嵌套 JSON 输出不可靠，改用 XML 格式后表现正常 —— aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw
  • 部分用户在 OpenCode 中遇到重复循环和空字符串函数调用问题，后自行归因于参数配置 —— aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw
  • Q6_K 量化版本在编码规划和组织逻辑上被社区报告优于 Q8_0，大不一定更好 —— aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw
  • BenchLM 综合评分仅 51.47/100，排名 #104/200 —— aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw
  • 物理合理性图像生成弱于 Claude Opus 4.7（flamingo 骑独轮车测试中 Opus 更接近物理真实） —— aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw
  • 需要耐心调参，非开箱即用的完美体验 —— aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw
  • 无工具纯聊天场景下幻觉倾向明显 —— nathansutton/Ornith-1.0-35B-UD-Q2_K_XL-MLX
  • 实际编码任务中仅发现多数模型都能找到的常见 bug，与高基准分形成反差 —— nathansutton/Ornith-1.0-35B-UD-Q2_K_XL-MLX
  • 存在虚构工具调用及输出的风险 —— nathansutton/Ornith-1.0-35B-UD-Q2_K_XL-MLX
  • 仅支持 MLX 框架，非 Apple Silicon 设备不可用 —— mlx-community/Qwen3.5-9B-OptiQ-4bit
  • 统一内存架构下量化模型仍受带宽限制，投机解码对量化目标的加速有限（27B-4bit 仅 1.90x） —— mlx-community/Qwen3.5-9B-OptiQ-4bit
  • 纯 attention 模型（如 Qwen3、Gemma）无法享受 GatedDeltaNet 的 tape-replay 投机解码优势 —— mlx-community/Qwen3.5-9B-OptiQ-4bit
  • mlx-community 的量化模型为社区维护，非官方出品 —— mlx-community/Qwen3.5-9B-OptiQ-4bit
  • 社区曾对 mlx-optiq 量化的可靠性存疑，初期缺乏实际使用反馈 —— mlx-community/Qwen3.5-9B-OptiQ-4bit
  • mlx-community 下存在多种量化版本（均匀 4-bit 与 OptiQ），用户需注意区分 —— mlx-community/Qwen3.5-9B-OptiQ-4bit
  • 社区讨论度极低，实际使用反馈稀缺 —— nvidia/Nemotron-Labs-Audex-2B
  • 当前状态不佳，业务挣扎导致技术侧妥协 —— kai-os/Grug-12B
  • 几乎无人为平台开发应用，生态萎缩 —— kai-os/Grug-12B
  • 安全方面存在明显短板 —— kai-os/Grug-12B
  • 编码能力不如 Ornith，尤其是仓库级长程编码和补丁任务 —— InternScience/Agents-A1
  • 不适合短程多样化任务，Ornith 在这方面更优 —— InternScience/Agents-A1
  • 仍处于早期预训练阶段，仅为checkpoint而非成品模型 —— Smilyai-labs/Nova-1-Standard-1.3B-Preview
  • 合规性与行为表现评级为F- —— Smilyai-labs/Nova-1-Standard-1.3B-Preview
  • 无特定功能特性 —— Smilyai-labs/Nova-1-Standard-1.3B-Preview
  • 对量化精度和推理参数极其敏感，参数不对时表现明显下降 —— manjunathshiva/Qwen3.6-35B-A3B-tq3a-tqTe-g64
  • MoE 的专家激活机制并不像社区预期那样能「解锁」更多模型能力 —— manjunathshiva/Qwen3.6-35B-A3B-tq3a-tqTe-g64
  • Power Ranking 编码任务仅比上代 Qwen 3.5 同尺寸略好（11/98 vs 10/98），提升有限 —— manjunathshiva/Qwen3.6-35B-A3B-tq3a-tqTe-g64
  • 在编码任务上被 Qwen 3.5 27B 密集模型大幅超越（26/98 vs 11/98），不属同一级别 —— manjunathshiva/Qwen3.6-35B-A3B-tq3a-tqTe-g64
  • 知识和技能类基准表现明显弱于其他维度，存在「刷榜」嫌疑 —— manjunathshiva/Qwen3.6-35B-A3B-tq3a-tqTe-g64
  • SVG 生成在物理合理性/遵循约束方面不如 Claude Opus 4.7 —— manjunathshiva/Qwen3.6-35B-A3B-tq3a-tqTe-g64
  • 表现不稳定，属于「碰对了参数就很好用」的类型 —— manjunathshiva/Qwen3.6-35B-A3B-tq3a-tqTe-g64
  • 8-bit 量化质量存疑：有测试显示 4-bit 得分与 16-bit 持平（21/23），而 8-bit 反而更低（20/23） —— ailexleon/Gemma4-Gutenberg-31B-Heretic-mlx-8Bit
  • 推理速度远慢于 Qwen 3.5：同硬件下仅 11 t/s，Qwen 3.5 可达 60 t/s —— ailexleon/Gemma4-Gutenberg-31B-Heretic-mlx-8Bit
  • KV 缓存占用巨大：完整 260K 上下文 fp16 需约 22GB 显存，远不如 Qwen 3.5 紧凑 —— ailexleon/Gemma4-Gutenberg-31B-Heretic-mlx-8Bit
  • 同等显存下可用上下文远少于 Qwen 3.5（约 20K vs 190K） —— ailexleon/Gemma4-Gutenberg-31B-Heretic-mlx-8Bit
  • Google AI Studio 托管的 Gemma 4 版本被社区评价为体验很差 —— ailexleon/Gemma4-Gutenberg-31B-Heretic-mlx-8Bit
  • 有用户认为 Gemma 4 在非编程任务上完全无用 —— ailexleon/Gemma4-Gutenberg-31B-Heretic-mlx-8Bit
  • 社区对比指出 Qwen3.6-35B-A3B 在同量级中表现更强,甚至超过其更大的 M.1 —— poolside/Laguna-XS-2.1
  • 有用户反馈在 shimmer 平台上体验不如 Gemma4-E2B —— poolside/Laguna-XS-2.1
  • 有用户认为 North Mini Code 作为编码 agent「way better」 —— poolside/Laguna-XS-2.1
  • 实际编码任务中表现不佳，仅发现几乎所有模型都能发现的bug —— deepreinforce-ai/Ornith-1.0-9B
  • 无工具环境的对话中幻觉严重 —— deepreinforce-ai/Ornith-1.0-9B
  • 会幻觉工具调用及其输出 —— deepreinforce-ai/Ornith-1.0-9B
  • 有社区用户评价 abliterated 版本「pretty useless」，实际可用性受质疑 —— huihui-ai/Huihui-GLM-5.2-abliterated-GGUF
  • 长上下文精确检索落后 Opus 4.8 约 3.4-3.6 分 —— huihui-ai/Huihui-GLM-5.2-abliterated-GGUF
  • 原版审查极严，必须依赖 abliteration 才能解锁无审查能力 —— huihui-ai/Huihui-GLM-5.2-abliterated-GGUF
  • Sonnet 5 在 50K 上下文下推理速度更快，检索质量则参差不齐 —— huihui-ai/Huihui-GLM-5.2-abliterated-GGUF
  • 社区实测反馈极少,除个别用户外缺乏广泛真实使用验证 —— nvidia/Nemotron-Labs-TwoTower-30B-A3B-Base-BF16
  • NVFP4 相比 FP8 的质量损失尚未被充分验证 —— nvidia/Qwen3.6-27B-NVFP4
  • 需要约 40 GB VRAM,最低需 L40S 48GB 或双卡方案 —— nvidia/Qwen3.6-27B-NVFP4
  • 双 3090 方案占用空间大、发热高 —— nvidia/Qwen3.6-27B-NVFP4
  • DGX Spark 上 35B MoE NVFP4 加推测解码实际仅约 50 tok/s,远低于宣传的 110 tok/s —— nvidia/Qwen3.6-27B-NVFP4
  • NVFP4 在 Blackwell (SM120) 上并不比 FP8 更快 —— nvidia/Qwen3.6-27B-NVFP4
  • 作为 CLI 编码代理配置(opencode)需要额外调校,不如 Claude Code 开箱即用 —— nvidia/Qwen3.6-27B-NVFP4
  • NVIDIA 版本的 NVFP4 部分不使用 NVFP4 激活,仅做权重量化 —— nvidia/Qwen3.6-27B-NVFP4
  • vLLM 在 16GB 消费卡上内存上限为 16K,长上下文受限 —— nvidia/Qwen3.6-27B-NVFP4
  • 编码是明显短板:6 项实测中 4/5 的编码测试未通过 —— mudler/LFM2.5-8B-A1B-APEX-GGUF
  • 并非一键自动黑客，仅作为辅助工具，自动化效果有限 —— BugTraceAI/BugTraceAI-CORE-Ultra-27B-Q6
  • 27B Q6_K 量化对本地硬件仍有较高门槛 —— BugTraceAI/BugTraceAI-CORE-Ultra-27B-Q6
  • 不是通用聊天模型，不适用于日常对话场景 —— BugTraceAI/BugTraceAI-CORE-Ultra-27B-Q6
  • 当前原生行为/能力尚简单,需自行微调才能适配具体生产任务 —— LiquidAI/LFM2.5-230M
  • 通用对话与复杂推理能力有限,不适合直接作为日常聊天模型使用 —— LiquidAI/LFM2.5-230M
  • 基于 Qwen 2.5 的 3B 模型声称对标前沿模型,benchmark 宣称缺乏独立复现和社区背书 —— squ11z1/Mythos-nano
  • 社区关注度极低,缺乏实际使用反馈和第三方评测 —— squ11z1/Mythos-nano
  • 基于 Qwen 2.5 的 3B 参数模型,声称能与前沿模型匹敌的说法缺乏独立验证,社区认可度低 —— mradermacher/Mythos-nano-i1-GGUF
  • 并非 Claude 替代品,声称能平替 Claude 的说法被社区认为夸大 —— hotdogs/qwen3.6-27b-fable5-lora
  • 将 opencode 调通为 CLI agent 需要大量调参,远不如 Claude Code 开箱即用 —— hotdogs/qwen3.6-27b-fable5-lora
  • 在部分基准上 Qwen3.6 反而不如 Qwen3.5 和 Gemma 4 —— hotdogs/qwen3.6-27b-fable5-lora
  • 因内置思考与规划机制,响应速度比 35B-A3B 慢 —— hotdogs/qwen3.6-27b-fable5-lora
  • hotdogs LoRA 仓库要求同意联系方式共享才能访问模型文件 —— hotdogs/qwen3.6-27b-fable5-lora
  • 社区讨论度很低,Reddit 帖子直言"Why is NO one talking about" —— microsoft/FastContext-1.0-4B-RL
  • 作为子 agent 而非独立模型,需要配合主 coding agent 使用,不能单独完成编码任务 —— microsoft/FastContext-1.0-4B-RL
  • 与现有 agent 工作流的实际集成仍处于早期阶段,社区自行添加支持 —— microsoft/FastContext-1.0-4B-RL
  • 官方仅提及"边际开销很小",但缺乏子 agent 本身的详细性能基准 —— microsoft/FastContext-1.0-4B-RL
  • abliteration 被描述为「粗糙的概念验证实现」，并非成熟方案 —— huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated
  • 有社区用户反馈 huihui 的去审查模型整体上「失去的比得到的多」 —— huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated
  • Gemma 4 12B 缺乏专用视觉编码器，视觉理解能力受限 —— huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated
  • 模型卡片明确声明不适合生产环境或面向公众的应用 —— huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated
  • 内容过滤极其有限，可能生成不适宜的输出 —— huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated
  • FP16 全精度推理需约 26GB 显存，多数消费级 GPU 无法承载 —— huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated
  • 使用者需自行承担法律和伦理风险 —— huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated
  • 实际部署硬件门槛极高：Q4_K_XL 量化需 512GB RAM + 2×3090 GPU，速度仅约 6 tok/s —— zai-org/GLM-5.2
  • 运行功耗与成本不低：满负载约 600W，每日约 14kWh，按 $0.2/kWh 计年电费约 $1000 —— zai-org/GLM-5.2
  • 基准测试基线存争议：有社区用户指出对比基线并非原始 GLM 5.2，而是 Q8 量化版本，可能夸大了量化后的精度保持表现 —— zai-org/GLM-5.2
  • 低量化在慢内存上几乎不可用：Q2 量化在 DDR4 内存上速度极慢，用户体验差 —— zai-org/GLM-5.2
  • 1-bit 量化为首次一次性尝试，质量稳定性未经充分验证 —— zai-org/GLM-5.2
  • SWE-bench Pro 得分 62.1，编程能力与闭源旗舰仍有差距 —— zai-org/GLM-5.2
  • 2-bit 版本仍需 238GB 存储，超出大多数单卡/单机配置 —— zai-org/GLM-5.2
  • 思考/规划阶段耗时较长，可能等待数分钟才开始执行 —— deepseek-ai/DeepSeek-V4-Flash
  • 有时会忽略用户给出的具体指令 —— deepseek-ai/DeepSeek-V4-Flash
  • 一次生成往往不够，需要多轮 review/refactor 才能达到满意结果 —— deepseek-ai/DeepSeek-V4-Flash
  • 存在 expired-lease 完成 bug：原 worker 已释放租约但仍可能继续完成步骤 —— deepseek-ai/DeepSeek-V4-Flash
  • 长上下文检索任务（800K token 仓库中定位函数调用图）表现明显弱于 Pro-Max（1/3 vs 3/3） —— deepseek-ai/DeepSeek-V4-Flash
  • 复杂推理、长链条调试和分析型任务不如 V4 Pro 稳定 —— deepseek-ai/DeepSeek-V4-Flash
  • 在扩展思考（extended thinking）和真实场景中，Qwen 3.6 Plus、Minimax M2.7、GLM 5.1 等国产模型表现更优 —— deepseek-ai/DeepSeek-V4-Flash
  • 部分场景下 token 生成速度偏慢 —— deepseek-ai/DeepSeek-V4-Flash
  • 对系统指令极为字面化且敏感，容易因提示措辞产生意外行为 —— deepseek-ai/DeepSeek-V4-Pro
  • 细节丰富程度不如 Claude Opus —— deepseek-ai/DeepSeek-V4-Pro
  • 代码库规模和复杂度增大后，对模糊提示的容错性显著下降，要求精确描述 —— deepseek-ai/DeepSeek-V4-Pro
  • 在 Arena 众包用户偏好基准上表现不佳，用户主观偏好低于能力基准得分 —— deepseek-ai/DeepSeek-V4-Pro
  • 在编码工具链中存在低效的随机搜索和 grep 行为，部分归因于 harness —— deepseek-ai/DeepSeek-V4-Pro
  • 基准测试中输出 token 消耗远高于同类开源模型中位数（190M vs 47M），运行成本达 $1,071 —— deepseek-ai/DeepSeek-V4-Pro
  • 编码能力存在分歧，部分用户认为 Kimi K2.6 编码更强 —— deepseek-ai/DeepSeek-V4-Pro
  • LM Studio 默认模板会错误匹配 Qwen 的推理 token，导致模型推理能力被关闭，需手动在 Jinja 模板首行添加 {%- set enable_thinking = true %} 并修改起止 token —— wepiqx/gemma-4-12B-it-LWQ6-GGUF
  • 使用官方推荐的采样参数（temperature=1.0, top_p=0.95, top_k=64）才能获得最佳推理质量，降低温度反而有损表现 —— wepiqx/gemma-4-12B-it-LWQ6-GGUF
  • 12B 参数规模存在硬上限：在 Python bug 挖掘测试中仅找到 6 个 bug，而 Qwen 35B 找到 14 个 —— wepiqx/gemma-4-12B-it-LWQ6-GGUF
  • LM Studio 等工具的开箱配置目前对 Gemma 4 不友好，需要用户了解推理 token 机制才能正确配置 —— wepiqx/gemma-4-12B-it-LWQ6-GGUF
  • 深度推理仍不及 Sonnet/Opus 等前沿闭源模型 —— Gryphe/Gemma-4-31B-StyleTune
  • 不开推理时表现明显下降，质量较差 —— Gryphe/Gemma-4-31B-StyleTune
  • KV cache 占用巨大，未做足够的压缩优化 —— Gryphe/Gemma-4-31B-StyleTune
  • 审查/拒答严重，尤其对医疗建议类请求几乎全部拒绝 —— Gryphe/Gemma-4-31B-StyleTune
  • 使用工具和自定义 harness 写代码时表现比 one-shot 差 —— Gryphe/Gemma-4-31B-StyleTune
  • Google AI Studio 版本表现很差，不如本地 GGUF 量化版，存在 tokenizer 问题 —— Gryphe/Gemma-4-31B-StyleTune
  • heretic 和 abliterated 等修改版会损害模型性能 —— Gryphe/Gemma-4-31B-StyleTune
  • 基准分数为自报，未经独立第三方验证 —— WeiboAI/VibeThinker-3B
  • 非通用模型，知识类基准 GPQA-Diamond 仅 70.2，远低于推理基准表现 —— WeiboAI/VibeThinker-3B
  • 实际编码场景（如 PDF 转代码、线性代数例程）效果差，社区反馈不如 Qwen 3.5 4B —— WeiboAI/VibeThinker-3B
  • 存在基准过拟合（benchmaxing）嫌疑 —— WeiboAI/VibeThinker-3B
  • 当前不支持工具调用 —— WeiboAI/VibeThinker-3B
  • 端到端解决率提升仅最高5.5%,并非颠覆性改进 —— microsoft/FastContext-1.0-4B-SFT
  • 仅支持只读工具(READ/GLOB/GREP),不能写代码或修改文件 —— microsoft/FastContext-1.0-4B-SFT
  • FP16推理仍需约8.8GB VRAM,低配GPU需量化才能运行 —— microsoft/FastContext-1.0-4B-SFT
  • 必须配合主编码代理使用,不能独立完成编码任务 —— microsoft/FastContext-1.0-4B-SFT
  • 目前仅验证在Mini-SWE-Agent框架下的效果,其他代理框架兼容性未知 —— microsoft/FastContext-1.0-4B-SFT
  • RL版本(4B-RL)也已发布但社区讨论极少,实际效果待验证 —— microsoft/FastContext-1.0-4B-SFT
  • 模型族跨度4B-30B,但社区关注几乎全集中在4B版本,大版本缺乏实测 —— microsoft/FastContext-1.0-4B-SFT
  • 仅在单一工具调用路由基准上验证，缺乏通用编码任务或实际项目中的实测数据 —— mradermacher/prism-coder-14b-GGUF
  • 基准测试分数普遍低于标准 Gemma 4（约 5-19 分差距），开箱即用的推理能力不如原始模型 —— nvidia/diffusiongemma-26B-A4B-it-NVFP4
  • NVFP4 量化在非数据中心 GPU 上兼容性存疑，GB200 与消费级 Blackwell RTX 50 系列的计算能力不完全兼容 —— nvidia/diffusiongemma-26B-A4B-it-NVFP4
  • 部分社区自制 NVFP4 量化版本（如 RedHatAI）质量问题严重，被描述为「完全搞砸了」 —— nvidia/diffusiongemma-26B-A4B-it-NVFP4
  • 存在 JSON 输出格式问题，包括引号重复和三引号错误 —— nvidia/diffusiongemma-26B-A4B-it-NVFP4
  • 块状并行生成偏向「流畅」而牺牲事实准确性，被社区描述为「只在乎流畅」 —— nvidia/diffusiongemma-26B-A4B-it-NVFP4
  • 基准测试结果存在异常（NVFP4 在某些测试中反而超过全精度），暗示单次运行方差大、结果不可靠 —— nvidia/diffusiongemma-26B-A4B-it-NVFP4
  • 错误率显著更高（标题称 6x 更多错误），不适合对准确性要求极高的任务 —— nvidia/diffusiongemma-26B-A4B-it-NVFP4
  • 在特定重复性任务上经微调后才具竞争力，零样本表现有限 —— nvidia/diffusiongemma-26B-A4B-it-NVFP4
  • 图像生成本身复杂度高，对显存/内存需求较大 —— BennyDaBall/Z-Image-Engineer-V6
  • 社区对其能否替代现有主流模型尚无定论 —— BennyDaBall/Z-Image-Engineer-V6
  • OpenCode 下工具调用极差，Q8 量化连一次工具调用都无法完成，只回复"Okay."（evidence 4、7） —— yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
  • 工具调用时反复无法正确指定参数（如 grep 的 pattern），调用被拒绝（evidence 7） —— yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
  • 有用户明确表示不会用它做编程调试，倾向 Gemma-4-31B 或 Qwen3.6-27B（evidence 1） —— yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
  • 该 Fable-5 微调被质疑为噱头，认为 12B 模型无法承载更大模型的推理能力（evidence 2） —— yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
  • 官方 8Q 模型存在拒答问题，需 heretic 版本才能正常生成（evidence 6） —— yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
  • Q8 量化生成速度骤降至 25.2 t/s，相比 Q4 的 72.3 t/s 大幅下降（evidence 5） —— yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
  • 尚无 assistant 模型的 GGUF 量化版本（evidence 5） —— yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
  • MTP（多 token 预测）支持仍在开发中（evidence 5） —— yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
  • 整体表现未达 SOTA 水平 —— silx-ai/Quasar-Preview
  • 感觉被有意收敛，不如 Claude 或 Gemini 放得开 —— silx-ai/Quasar-Preview
  • 是否开源不明确，发布时间模糊 —— silx-ai/Quasar-Preview
  • 证据仅涉及缩放定律预测精度，无社区讨论涉及模型实际生成质量、推理吞吐或日常使用体验 —— marin-community/delphi-1e23-25Bparams-628Btokens
  • 当前讨论集中在训练效率与损失预测，缺乏下游任务评估（benchmark 表现、人类偏好等）的证据 —— marin-community/delphi-1e23-25Bparams-628Btokens
  • 知识密集型任务和编程场景表现不佳 —— LiquidAI/LFM2.5-1.2B-JP-202606
  • 官方建议针对具体场景微调以获得最佳效果 —— LiquidAI/LFM2.5-1.2B-JP-202606
  • harness 效果受限于模型调优，prompt 结构和特殊 token 配置不当会带来糟糕体验 —— pat-jj/harness-1
  • bagels 在 HN 讨论中指出存在 prompt 注入风险 —— pat-jj/harness-1
  • 社区对各类 harness 的差异化难以判断，选择缺乏客观基准，被 Reddit 用户形容为类似「Broscience」 —— pat-jj/harness-1
  • GGUF 格式转换存在问题，unsloth 和 bartowski 已确认正在调查，llama.cpp 加载报错 —— OBLITERATUS/Gemma-4-12B-OBLITERATED
  • 关闭 thinking 模式后可能不需要 abliteration 即可绕过拒绝 —— OBLITERATUS/Gemma-4-12B-OBLITERATED
  • 能力评分仅 27.0%，官方定位为玩具代理和提示词重写器，不适合复杂推理或生产级应用 —— mlx-community/Qwen3.5-0.8B-OptiQ-4bit
  • omlx v0.2.20 升级后曾出现 Internal server error，社区工具链稳定性有待观察 —— mlx-community/Qwen3.5-0.8B-OptiQ-4bit
  • 0.8B 参数规模天然受限，仅适合极轻量场景 —— mlx-community/Qwen3.5-0.8B-OptiQ-4bit
  • Capability Score 仅 48%,远低于同系列 4B(81.5%)和 9B(90%),能力上限有限 —— mlx-community/Qwen3.5-2B-OptiQ-4bit
  • MLX 模型在 LM Studio 中 prompt caching 目前存在已知 bug —— mlx-community/Qwen3.5-2B-OptiQ-4bit
  • 部分 MLX 版 Qwen3.5 存在崩溃和无视设置强行注入 thinking 标签的社区反馈 —— mlx-community/Qwen3.5-2B-OptiQ-4bit
  • 上下文超过约 65k 时出现 OOM —— Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed
  • MTP 模式下代码质量可能不如使用独立 draft model (Qwen3.5-0.8B) —— Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed
  • SVG 生成效果不佳,与 GLM 5.1 相比明显偏弱 —— Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed
  • 数学能力弱于 35B-A3B (AIME 87.8 vs 92.7) —— Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed
  • MTPLX v0.1.0-preview 仅支持 Qwen3-Next-MTP,兼容范围有限 —— Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed
  • 即使是 4-bit 量化仍需约 20GB 内存,对 16GB 设备仍有门槛 —— Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed
  • mlx-optiq 量化框架的开发者身份不明,社区对其可信度存在疑虑 —— mlx-community/Qwen3.6-27B-OptiQ-4bit
  • MLX 在 LM Studio 中的提示缓存当前已损坏,与量化来源无关 —— mlx-community/Qwen3.6-27B-OptiQ-4bit
  • GGUF 格式在高上下文窗口下即使在 M5 上仍可能导致系统冻结 —— mlx-community/Qwen3.6-27B-OptiQ-4bit
  • 32 GB 统一内存是流畅运行的最低要求 —— mlx-community/Qwen3.6-27B-OptiQ-4bit
  • SVG/图像生成质量不稳定,某些场景下不如 GLM 5.1 等竞品 —— mlx-community/Qwen3.6-27B-OptiQ-4bit
  • OptiQ 虽开源但代码仅通过 PyPI 分发,仓库和开发过程不透明 —— mlx-community/Qwen3.6-27B-OptiQ-4bit
  • mlx-optiq 的代码仓库与开发者身份不明确,社区对其透明度存疑 —— mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit
  • MLX 在 LM Studio 中的 prompt caching 目前处于损坏状态 —— mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit
  • Mac 上流畅运行本地 LLM 需要至少 32GB 内存 —— mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit
  • ROCM 后端存在硬锁问题，目前仅 Vulkan 后端稳定运行 —— JetBrains/Mellum2-12B-A2.5B-Instruct
  • 非编码类任务表现中等（综合评分 8.62/10，部分任务结果一般） —— JetBrains/Mellum2-12B-A2.5B-Instruct
  • 编程能力较弱，6 项 coding 测试中 4 项失败 —— LiquidAI/LFM2.5-8B-A1B
  • 混合架构（18 conv + 6 attention）与主流 transformer 生态的兼容性需自行验证 —— LiquidAI/LFM2.5-8B-A1B
  • 通用对话/知识问答能力未经充分社区验证，主要定位为 agent/工具调用场景 —— LiquidAI/LFM2.5-8B-A1B
  • 非编码类任务表现一般，综合评分存在短板 —— JetBrains/Mellum2-12B-A2.5B-Thinking
  • ROCm兼容性存在问题，部分用户遇到GPU硬锁 —— JetBrains/Mellum2-12B-A2.5B-Thinking
  • 对自定义工具调用格式（如 <call>...</call>）遵循能力差 —— w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP
  • 部分 prompt 字符串会破坏输出逻辑 —— w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP
  • 在多语言交流中逻辑有问题，英语场景也偶有出现 —— w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP
  • 事实性任务中存在明显幻觉 —— w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP
  • benchmark 高分与实际使用可靠性之间存在落差 —— w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP
  • 不能替代 Opus 等大模型用于专业日常工作 —— w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP
  • 纯编码能力上 Gemma-4-12B 可能略优 —— w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP
  • NVFP4 量化存在质量损失，可能出现失控生成和退化循环 —— nvidia/Qwen3.6-35B-A3B-NVFP4
  • 在架构写作等非编程任务上，同系 27B 稠密模型可能更优 —— nvidia/Qwen3.6-35B-A3B-NVFP4
  • DGX Spark 上更新 vLLM 会遇到依赖冲突，部署有坑 —— nvidia/Qwen3.6-35B-A3B-NVFP4
  • 稠密模型（27B）在某些任务上质量更好，只是速度不及 MoE —— nvidia/Qwen3.6-35B-A3B-NVFP4
  • NVFP4 格式依赖 NVIDIA 硬件和 vLLM，通用性受限 —— nvidia/Qwen3.6-35B-A3B-NVFP4
  • 社区反馈 safetensors 格式变体尚未提供 —— openbmb/BitCPM-CANN-8B
  • 模型卡缺少 base_model 元数据标注 —— openbmb/BitCPM-CANN-8B
  • 部分用户反馈翻译质量不如前代 Hy-MT1.5 —— tencent/Hy-MT2-1.8B-GGUF
  • abliteration 会降低基准表现，Heretic 方法 GSM8K 无效率达 74.5%（基础模型 68.2%） —— OBLITERATUS/Qwen3.6-27B-OBLITERATED
  • HauhauCS/Reaper Abliteration 工具被指抄袭 Heretic（AGPL-3.0），剥离署名后重新授权为 PolyForm Noncommercial —— OBLITERATUS/Qwen3.6-27B-OBLITERATED
  • 部分基准上 Qwen3.6 表现落后于 Qwen3.5 和 Gemma 4 —— OBLITERATUS/Qwen3.6-27B-OBLITERATED
  • vLLM 在测试的消费级 GPU 配置上内存上限仅 16K —— OBLITERATUS/Qwen3.6-27B-OBLITERATED
  • 高并发请求在 300 秒测试预算下超时 —— OBLITERATUS/Qwen3.6-27B-OBLITERATED
  • 推理模型在 GSM8K 上有 23–75% 的题目在给出答案前耗尽思考预算 —— OBLITERATUS/Qwen3.6-27B-OBLITERATED
  • 在相同硬件上吞吐量低于 gemma-2-9b，尽管参数量更少 —— mlx-community/Meta-Llama-3-8B-Instruct-4bit
  • MMLU Pro 评测结果存在一定的随机波动，单次跑分需谨慎解读 —— mlx-community/Meta-Llama-3-8B-Instruct-4bit
  • 需使用 PrismML 的 llama.cpp 分支，无法直接通过官方 llama.cpp 加载（来源 2） —— prism-ml/Ternary-Bonsai-8B-mlx-2bit
  • 实际生成质量不如同参数规模的常规模型，有用户反馈 Bonsai-8B「比 Gemma-4-E2B 笨得多」（来源 0） —— prism-ml/Ternary-Bonsai-8B-mlx-2bit
  • 仍依赖 GPU，并未真正实现 1-bit 模型「去除 GPU 瓶颈」的目标（来源 4） —— prism-ml/Ternary-Bonsai-8B-mlx-2bit
  • Ternary 版本在部分实测中表现反而不如 1-bit 版本（来源 0） —— prism-ml/Ternary-Bonsai-8B-mlx-2bit
  • 无推理能力，不适合复杂任务 —— lmstudio-community/granite-4.1-30b-GGUF
  • 社区实测反馈极少，实际表现难以评估 —— lmstudio-community/granite-4.1-30b-GGUF
  • 通用场景下不如 Qwen 等更大模型，仅适合自动补全等小任务 —— lmstudio-community/granite-4.1-3b-GGUF
  • 上下文填充后生成速度可能下降 —— lmstudio-community/granite-4.1-3b-GGUF
  • 较小变体(如4B)在部分用户场景下表现不佳 —— lmstudio-community/granite-4.1-8b-GGUF
  • 训练数据时效性存疑,可能影响实际使用意愿 —— lmstudio-community/granite-4.1-8b-GGUF
  • MLX 社区不如 GGUF 活跃，模板修复和量化改进滞后 —— mlx-community/Llama-2-7b-chat-mlx
  • 实际使用可能出现崩溃、prompt 缓存缺失、内存压力问题 —— mlx-community/Llama-2-7b-chat-mlx
  • 宣传的 token 速度在实际场景中可能被夸大 —— mlx-community/Llama-2-7b-chat-mlx
  • mlx-community 模型集合维护不足，部分模型系列只有少量转换 —— mlx-community/Llama-2-7b-chat-mlx
  • 权重从 bfloat16 转为 float16 存储，numpy 兼容性受限 —— mlx-community/Llama-2-7b-chat-mlx
  • 许可证含非商业限制，并非开源或通常意义上的开放权重，商用需注意合规风险 —— lmstudio-community/MiniMax-M2.7-GGUF
  • 存在速度问题，实际使用中响应延迟可能影响体验 —— lmstudio-community/MiniMax-M2.7-GGUF
  • 官方提到的内部脚手架（Agent Loop 等）可能无法直接在本地部署中使用 —— lmstudio-community/MiniMax-M2.7-GGUF
  • 前代 M2.5 在高级工具调用与复杂任务中表现令人失望，M2.7 的稳定性与泛化能力仍需更多社区验证 —— lmstudio-community/MiniMax-M2.7-GGUF
  • 社区实际使用案例稀少,有用户直接质疑是否有人真正在用 —— nvidia/Nemotron-Labs-Diffusion-14B
  • 部分讨论将其与图像生成模型(eDiffi/DALL-E)混淆,存在认知偏差 —— nvidia/Nemotron-Labs-Diffusion-14B
  • 需要 PrismML 维护的 llama.cpp 分支才能加载，不兼容上游 llama.cpp，且该分支版本滞后于上游 —— prism-ml/Bonsai-8B-mlx-1bit
  • 无语法约束时工具调用完全不可用，原始输出通过率为 0% —— prism-ml/Bonsai-8B-mlx-1bit
  • 有用户实测认为其回答质量远不如 Gemma-4-E2B（Bonsai 仅比 Gemma 小 29%），且三元版本表现更差 —— prism-ml/Bonsai-8B-mlx-1bit
  • 社区指出存在benchmark gaming的可能，即仅针对特定基准优化的风险 —— sapientinc/HRM-Text-1B
  • Hacker News内容局限于科技与创业新闻，不适合一般受众 —— salakash/Minimalism
  • 在二手平台转售物品的体验让人失望，实际收益远低于购买成本，并非值得推崇的消费理由 —— salakash/Minimalism

收藏本页,或 订阅 RSS 追踪每日更新。