Guides / What local large models can run on 16GB VRAM/RAM (2026-07) · 中文版

What local large models can run on 16GB VRAM/RAM (2026-07)

First eliminate 11 unrealistic options where Q4 estimate clearly exceeds 16GB and the library has no lower-bit quant form, then pick a few ready-to-use ones by purpose.

Editorial picks

This page covers all text-only LLM cards on the site (pipeline_tag is text-generation). We have eliminated 11 models whose Q4 estimates clearly exceed 16GB and for which the library has no lower-bit quant forms (such as the 753B cloud_only GLM-5.2, and several quant packages that are already mlx 4bit/8bit yet still exceed the limit); see the endnotes for the list. About one-third of the rows have empty vram fields—this is a data gap, not a signal that they can't fit—please test as needed.

  • Top pick for coding agent Ornith-1.0-9B (DeepReinforce)

    key_info.vram is Q4 ~5GB, license MIT; key_info.agent.tool_calling marked OpenAI-style (Qwen3 XML); why_trust states "self-improving RL training, SWE-bench Verified 69.4%, supports OpenAI-compatible tool calling"; good_for explicitly lists coding agent and tool-calling/terminal tasks.

  • Long-context repository exploration (used with the main agent) FastContext-1.0-4B-RL (Microsoft)

    key_info.vram is Q4 ~2.7GB, context 262k, license MIT; community.solves notes "FP16 needs only ~8.8GB VRAM, INT4 ~2.2GB, deployable on consumer GPUs" and "reduces main agent token consumption by up to 60%"; but watch_outs reminds it's a sub-agent, must be used with a main coding agent, and the card's not_for states not suitable for "solving coding tasks independently or general conversation".

  • On-device general assistant / tool calling LFM2.5-8B-A1B (LiquidAI)

    key_info.vram is Q4 ~5.6GB, supports GGUF/MLX and other deployments; community.solves mentions "runs on low-spec hardware (community says 'any potato' can run the A1B version)", "native tool calling and Agent workflow, can run offline"; but watch_outs also notes "weak coding ability (community tested 4/5 coding tasks failed)", not suitable as a programming model.

  • General conversation / coding speed vs quality compromise Qwen3.6-35B-A3B-NVFP4 (NVIDIA)

    key_info.vram is Q4 ~12GB, within 16GB budget; community.consensus says it's "the best compromise of speed and quality for local coding scenarios", solves mentions "runs smoothly on consumer NVIDIA hardware (RTX 5090, DGX Spark)"; watch_outs also warns "NVFP4 quantization has quality loss, may cause runaway generation and degenerated loops".

  • Lightweight math / code reasoning VibeThinker-3B (WeiboAI)

    key_info.vram only Q4 ~2GB, license MIT commercially usable; why_trust gives IMO-AnswerBench 76.4, LeetCode weekly contest pass rate 96.1% etc.; but community.consensus bluntly says "benchmark scores are eye-catching but actual coding experience varies dramatically", watch_outs mentions users tested "far worse than Qwen 3.5 4B", there is a gap between benchmark scores and real coding ability, don't just look at scores.

Full comparison

ModelParamsVRAMContextLicenseCommercial useChina accessDeploy
SuperGemma4-26B-Uncensored (Jiunsong) 26B~16GB 4-bit—gemma限制商用需代理ollama run hf.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2 / huggingface-cli download Jiunsong/supergemma4-26b-uncensored-gguf-v2 --include '*.gguf' --local-dir . / llama-cli -m supergemma4-26b-uncensored-fast-v2-Q4_K_M.gguf
Ornith-1.0-35B (DeepReinforce)
原生 · FP8 · GGUF·deepreinforce-ai · GGUF·unsloth
35B (MoE)~39GB FP8256kMIT可商用需代理vllm serve deepreinforce-ai/Ornith-1.0-35B --served-model-name Ornith-1.0-35B --tensor-parallel-size 8 --host 0.0.0.0 --port 8000 --max-model-len 262144 --gpu-memory-utilization 0.90 --enable-prefix-caching --enable-auto-tool-choice --tool-call-parser qwen3_xml --reasoning-parser qwen3 --trust-remote-code / python -m sglang.launch_server --model-path deepreinforce-ai/Ornith-1.0-35B --served-model-name Ornith-1.0-35B --tp 8 --host 0.0.0.0 --port 8000 --context-length 262144 --mem-fraction-static 0.85 --tool-call-parser qwen3_coder --reasoning-parser qwen3 / llama-server -hf deepreinforce-ai/Ornith-1.0-35B-GGUF --port 8000 -c 262144
Qwen3.6-35B-A3B-NVFP4 (NVIDIA) 35B (激活3B)~21GB 8-bit262kApache 2.0可商用需代理vllm serve nvidia/Qwen3.6-35B-A3B-NVFP4 --quantization modelopt
Dolphin3-Cyber-8B (RavichandranJ) 8B~4.8GB 4-bit2kllama3.1限制商用需代理ollama run hf.co/RavichandranJ/Dolphin3-Cyber-8B-GGUF
DiffusionGemma-26B-A4B-it-NVFP4 (NVIDIA) 25.2B (3.8B活跃)~16GB 8-bit256kApache 2.0 (Gemma Terms)可商用需代理VLLM_USE_V2_MODEL_RUNNER=1 vllm serve nvidia/diffusiongemma-26B-A4B-IT-NVFP4 --trust-remote-code --max-num-seqs 4 --attention-backend TRITON_ATTN --enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4 --override-generation-config '{"max_new_tokens": null}' --default-chat-template-kwargs '{"enable_thinking":true}' (需H100/B100)
Qwen3.6-27B-MTPLX (Youssofal) 27B~16GB 4-bit—Apache-2.0可商用需代理brew install youssofal/mtplx/mtplx / mtplx pull Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed / mtplx serve --model Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed --port 8000
Huihui-Qwythos-9B-1M (huihui-ai) 9B~5.4GB 4-bit1Mapache-2.0可商用需代理llama-cli -hf huihui-ai/Huihui-Qwythos-9B-Claude-Mythos-5-1M-abliterated-GGUF --model Huihui-Qwythos-9B-Claude-Mythos-5-1M-abliterated-Q4_K.gguf -ngl 99 -c 262144 -fa on -np 1 --spec-type draft-mtp --spec-draft-n-max 2
LFM2.5-8B-A1B (LiquidAI)
原生 · GGUF·liquidai · GGUF·unsloth
8.3B (1.5B active)~5.1GB 4-bit128kLFM1.0需自查需代理transformers >= 5.0.0: AutoModelForCausalLM.from_pretrained('LiquidAI/LFM2.5-8B-A1B')
Qwen-AgentWorld-35B-A3B (Qwen)
原生 · GGUF
35B (3B激活)~21GB 4-bit262kApache-2.0可商用魔搭可用python -m sglang.launch_server --model-path Qwen/Qwen-AgentWorld-35B-A3B --port 8000 --tp-size 4 --context-length 262144 --reasoning-parser qwen3 / vllm serve Qwen/Qwen-AgentWorld-35B-A3B --port 8000 --tensor-parallel-size 4 --max-model-len 262144 --reasoning-parser qwen3 --trust-remote-code
Qwythos-9B-v2 (Empero AI)
原生 · GGUF
9B~5.8GB 4-bit1048kApache-2.0可商用需代理vllm serve empero-ai/Qwythos-9B-v2 --trust-remote-code
Ternary-Bonsai-8B (Prism ML) 8B~2.2GB ternary65kApache-2.0可商用需代理mlx_lm.load('prism-ml/Ternary-Bonsai-8B-mlx-2bit') / mlx-lm generate --model prism-ml/Ternary-Bonsai-8B-mlx-2bit
Ornith-1.0-9B (DeepReinforce)
原生 · GGUF·deepreinforce-ai · GGUF·protolabsai
9B~5.4GB 4-bit256kMIT可商用需代理vllm serve deepreinforce-ai/Ornith-1.0-9B --served-model-name Ornith-1.0-9B --host 0.0.0.0 --port 8000 --max-model-len 262144 --gpu-memory-utilization 0.90 --enable-prefix-caching --enable-auto-tool-choice --tool-call-parser qwen3_xml --reasoning-parser qwen3 --trust-remote-code / llama-server -hf deepreinforce-ai/Ornith-1.0-9B-GGUF --port 8000 -c 262144 / AutoModelForCausalLM.from_pretrained("deepreinforce-ai/Ornith-1.0-9B", device_map="auto")
LFM2.5-230M (LiquidAI)
原生 · GGUF
230M~0.1GB 4-bit32768LFM1.0需自查需代理vllm serve LiquidAI/LFM2.5-230M / llama-server -hf LiquidAI/LFM2.5-230M-GGUF / python -c 'from transformers import AutoModelForCausalLM, AutoTokenizer; model=AutoModelForCausalLM.from_pretrained("LiquidAI/LFM2.5-230M", device_map="auto", dtype="bfloat16"); tokenizer=AutoTokenizer.from_pretrained("LiquidAI/LFM2.5-230M")'
Bonsai-8B-mlx-1bit (PrismML) 8B~1.2GB 1-bit65kApache-2.0可商用需代理pip install mlx-lm; pip install mlx@git+https://github.com/PrismML-Eng/mlx.git@prism; from mlx_lm import load; load('prism-ml/Bonsai-8B-mlx-1bit')
MiniMax-M2.7 (MiniMax) 2.7B~1.6GB 4-bit—other—需代理huggingface-cli download lmstudio-community/MiniMax-M2.7-GGUF --local-dir . && ./llama-cli -m <file>.gguf / ollama create MiniMax-M2.7 -f Modelfile (FROM ./file.gguf)
North-Mini-Code-1.0 (CohereLabs)
原生 · GGUF
30B总 / 3B激活~18GB 4-bit256KApache-2.0可商用需代理transformers.from_pretrained() / vllm serve CohereLabs/North-Mini-Code-1.0
Qwopus3.5-9B-Coder-MTP (Jackrong)
GGUF·jackrong·MTP · GGUF·jackrong
9B~5.4GB 4-bit128kapache-2.0可商用需代理ollama run hf.co/Jackrong/Qwopus3.5-9B-Coder-MTP-GGUF:Q4_K_M / llama.cpp: ./llama-cli -m qwopus3.5-9b-coder-mtp.Q4_K_M.gguf -ngl 99 / llama-cpp-python: Llama(model_path='<gguf-path>')
Qwen3.5-9B-OptiQ-4bit (mlx-community) 9B~9.8GB 8-bit128kapache-2.0可商用需代理mlx_lm.generate --model mlx-community/Qwen3.5-9B-OptiQ-4bit
Leanly_AI (jackxinning) 14B~8.4GB 4-bit—apache-2.0可商用需代理transformers: AutoModel.from_pretrained('jackxinning/Leanly_AI')
Meta-Llama-3-8B-Instruct-4bit (mlx-community) 8B~4.8GB 4-bit8kllama3限制商用需代理pip install mlx-lm && mlx_lm.generate --model mlx-community/Meta-Llama-3-8B-Instruct-4bit --prompt "hello" / from mlx_lm import load, generate; model, tokenizer = load('mlx-community/Meta-Llama-3-8B-Instruct-4bit'); generate(model, tokenizer, prompt='hello')
Hy-MT2-1.8B-GGUF (Tencent) 1.8B~1.1GB 4-bit—apache-2.0可商用魔搭可用llama-server -hf tencent/Hy-MT2-1.8B-GGUF
Nandi-Mini-600M (FrontiersMind) 600M~0.4GB 4-bit2048apache-2.0可商用需代理transformers.from_pretrained('FrontiersMind/Nandi-Mini-600M-Early-Checkpoint')
Gemma-4-12B-OBLITERATED (OBLITERATUS) 12B~7.2GB 4-bit—gemma限制商用需代理ollama run hf.co/OBLITERATUS/Gemma-4-12B-OBLITERATED / transformers from_pretrained('OBLITERATUS/Gemma-4-12B-OBLITERATED')
Nemotron-Labs-TwoTower-30B-A3B (NVIDIA) 30B (3B 激活)~18GB 4-bit128kNVIDIA Nemotron Open Model License需自查需代理python3 -c "from transformers import AutoModelForCausalLM; AutoModelForCausalLM.from_pretrained('nvidia/Nemotron-Labs-TwoTower-30B-A3B-Base-BF16',trust_remote_code=True,torch_dtype='bfloat16').cuda()" (单GPU AR模式,约59GB显存) / python3 -c "from transformers import AutoModelForCausalLM; m=AutoModelForCausalLM.from_pretrained('nvidia/Nemotron-Labs-TwoTower-30B-A3B-Base-BF16',trust_remote_code=True,torch_dtype='bfloat16'); m.place_towers_on_devices('cuda:0','cuda:1')" (双GPU扩散模式,每卡约59GB显存)
Mythos-nano (squ11z1) 3B~1.9GB 4-bit—MIT可商用需代理ollama run hf.co/squ11z1/Mythos-nano / vllm serve squ11z1/Mythos-nano / AutoModelForCausalLM.from_pretrained("squ11z1/Mythos-nano", torch_dtype="auto", device_map="auto") / llama-server -m hf://squ11z1/Mythos-nano:mythos-nano-Q4_K_M.gguf
Qwopus3.6-27B-v2-MTP-GGUF (Jackrong)
GGUF·jackrong·MTP · GGUF·jackrong
27B~16GB 4-bit128kApache 2.0可商用需代理huggingface-cli download Jackrong/Qwopus3.6-27B-v2-MTP-GGUF qwopus3.6-27b-v2-mtp.Q4_K_M.gguf / llama.cpp server -m qwopus3.6-27b-v2-mtp.Q4_K_M.gguf -ngl 99
Qwen3.5-9B (Qwen) 9B~5.4GB 4-bit32kMIT可商用需代理ollama run hf.co/w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP / llama.cpp: ./llama-cli -m Qwen3.5-9B-MoQ-4.85.gguf
MiniCPM5-1B-Thinking (OpenBMB)
原生 · GGUF
1B~0.6GB 4-bit128kApache-2.0可商用需代理ollama run hf.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF
Mythos-nano (squ11z1) ———MIT可商用需代理HF_ENDPOINT=https://hf-mirror.com llama-server -hf mradermacher/Mythos-nano-i1-GGUF --model Mythos-nano.i1-Q4_K_M.gguf / from llama_cpp import Llama; llm = Llama.from_pretrained(repo_id='mradermacher/Mythos-nano-i1-GGUF', filename='Mythos-nano.i1-Q4_K_M.gguf')
Qwen3.5-0.8B-OptiQ-4bit (mlx-community) 0.8B~0.9GB 8-bit—Apache 2.0可商用需代理pip install mlx-lm; mlx_lm.generate --model mlx-community/Qwen3.5-0.8B-OptiQ-4bit --prompt '...' / pip install mlx-optiq; optiq serve --model mlx-community/Qwen3.5-0.8B-OptiQ-4bit --mtp
LFM2.5-8B-A1B-APEX (LiquidAI / LocalAI) 8B (激活1B)~4.8GB 4-bit—LFM1.0需自查需代理local-ai run mudler/LFM2.5-8B-A1B-APEX-GGUF@LFM2.5-8B-A1B-APEX-I-Balanced.gguf / llama-server -hf mudler/LFM2.5-8B-A1B-APEX-GGUF:LFM2.5-8B-A1B-APEX-I-Balanced.gguf
Llama-2-7b-chat-mlx (mlx-community) 7B~4.2GB 4-bit4096llama2限制商用需代理git clone https://github.com/ml-explore/mlx-examples && pip install mlx huggingface_hub && huggingface-cli download mlx-community/Llama-2-7b-chat-mlx --local-dir model / python mlx-examples/llama/llama.py --prompt 'Hi' model/
MaralGPT-Mythos-9B (MaralGPT) 9B~5.4GB 4-bit1Mapache-2.0可商用需代理ollama run hf.co/MaralGPT/MaralGPT-Mythos-9B-2606-GGUF
Qwen3.5-2B-OptiQ-4bit (mlx-community) 2B~2.2GB 8-bit—apache-2.0可商用需代理mlx-lm generate --model mlx-community/Qwen3.5-2B-OptiQ-4bit / optiq serve --model mlx-community/Qwen3.5-2B-OptiQ-4bit --mtp
LFM2.5-1.2B-JP (LiquidAI) 1.2B~0.7GB 4-bit32kLFM1.0需自查需代理transformers AutoModelForCausalLM.from_pretrained('LiquidAI/LFM2.5-1.2B-JP-202606') / vllm serve LiquidAI/LFM2.5-1.2B-JP-202606 / llama-server -hf LiquidAI/LFM2.5-1.2B-JP-202606-GGUF
MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking (GnLOLot) 1B~0.6GB 4-bit128kApache-2.0可商用需代理ollama run hf.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-GGUF / llama-server -hf GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-GGUF -m MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-Q8_0.gguf -c 8192
prism-coder-14b (mradermacher) 14B~8.4GB 4-bit—apache-2.0可商用需代理llama-server --hf-repo mradermacher/prism-coder-14b-i1-GGUF --hf-file prism-coder-14b.i1-Q4_K_M.gguf / python -c "from transformers import AutoModelForCausalLM; AutoModelForCausalLM.from_pretrained('dcostenco/prism-coder-14b')"
FastContext-1.0-4B-RL (Microsoft) 4B~2.4GB 4-bit262kMIT可商用需代理python3 -m sglang.launch_server --model-path microsoft/FastContext-1.0-4B-RL --tool-call-parser qwen --context-length 262144 --trust-remote-code --dtype bfloat16 --host 0.0.0.0 --port 30000 --tp-size 1 --mem-fraction-static 0.8 / from transformers import AutoModelForCausalLM; model = AutoModelForCausalLM.from_pretrained('microsoft/FastContext-1.0-4B-RL', trust_remote_code=True)
Qwen3.6-27B-NVFP4 (NVIDIA) 27B~30GB 8-bit262kApache-2.0可商用需代理vllm serve nvidia/Qwen3.6-27B-NVFP4 --port 8000 --quantization modelopt --max-model-len 262144 --reasoning-parser qwen3
Gemma4-12B-Coder (yuxinlu1) 12B~7.2GB 4-bit131kgemma可商用需代理ollama run hf.co/yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF / llama-server -hf yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF -m gemma4-coding-Q4_K_M.gguf --ctx-size 16384 （需 llama.cpp 最新版，支持 gemma4_unified）
Laguna-S-2.1-NVFP4 (poolside) 117.6B (8.5B 激活)~75GB 8-bit256KOpenMDW-1.1需自查需代理vllm serve poolside/Laguna-S-2.1-NVFP4
Gemma-4-12B Agentic v2 (yuxinlu1)
原生 · GGUF
12B~7.2GB 4-bit16k（示例命令）Apache-2.0可商用需代理llama-server -hf yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF -ngl 99 --jinja
Huihui-gemma-4-12B-coder-abliterated (huihui-ai) 12B~7.2GB 4-bit—apache-2.0可商用需代理python3 -c 'from transformers import AutoModelForCausalLM; model = AutoModelForCausalLM.from_pretrained("huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated")' / vllm serve huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated
MiniCPM5-1B (OpenBMB)
原生 · GGUF
1B~0.6GB 4-bit128kapache-2.0可商用魔搭可用vllm serve openbmb/MiniCPM5-1B --port 8000 / sglang --model-path openbmb/MiniCPM5-1B --port 30000 / transformers AutoModelForCausalLM.from_pretrained('openbmb/MiniCPM5-1B')
Qwen3.6-27B-MTP-pi-tune (bytkim) 27B~16GB 4-bit256kApache-2.0可商用需代理ollama run hf.co/bytkim/Qwen3.6-27B-MTP-pi-tune-GGUF / llama-server -hf bytkim/Qwen3.6-27B-MTP-pi-tune-GGUF:Q4_K_M --jinja -ngl 99 -fa -c 131072 --temp 0.7 --top-p 0.8 --top-k 20 --min-p 0 --presence-penalty 1.5 / hf download bytkim/Qwen3.6-27B-MTP-pi-tune-GGUF Qwen3.6-27B-MTP-pi-tune-Q4_K_M.gguf --local-dir .
Qwythos-9B (Empero)
原生 · GGUF
9B~5.6GB 4-bit1MApache 2.0需自查需代理vllm serve empero-ai/Qwythos-9B-Claude-Mythos-5-1M --max-model-len 1010000 / AutoModelForImageTextToText.from_pretrained('empero-ai/Qwythos-9B-Claude-Mythos-5-1M', dtype='bfloat16', device_map='auto')
Gemma-4-12B-it-LWQ6 (wepiqx) 12B~13GB 8-bit—Apache-2.0可商用需代理llama-server -hf wepiqx/gemma-4-12B-it-LWQ6-GGUF:gemma-4-12b-it-LWQ6-IQ4_XS.gguf --jinja --flash-attn on -c 55555 -ngl 99 / llama-cli -hf wepiqx/gemma-4-12B-it-LWQ6-GGUF:gemma-4-12b-it-LWQ6-IQ4_XS.gguf -p "Your prompt" -ngl 99
Mellum2-12B-A2.5B-Instruct (JetBrains) 12B (2.5B active)~7.3GB 4-bit131kapache-2.0可商用需代理vllm serve JetBrains/Mellum2-12B-A2.5B-Instruct --max-model-len 131072 / transformers.from_pretrained('JetBrains/Mellum2-12B-A2.5B-Instruct')
SIQ-1-35B (AlexWortega) 35B (3B激活)~21GB 4-bit131kApache-2.0可商用需代理python -m sglang.launch_server --model-path AlexWortega/SIQ-1-35B --tp 2 --context-length 131072 --reasoning-parser qwen3 --tool-call-parser qwen3 --port 8080 / AutoModelForCausalLM.from_pretrained('AlexWortega/SIQ-1-35B', device_map='auto', torch_dtype='auto') / huggingface-cli download AlexWortega/SIQ-1-35B gguf/Q4_K_M.gguf --local-dir ./siq && docker run -d --gpus all -v ./siq:/m -p 8080:8080 ghcr.io/ggml-org/llama.cpp:server-cuda -m /m/gguf/Q4_K_M.gguf -ngl 99 -c 131072 -np 4 --jinja
BitCPM-CANN-8B (OpenBMB) 8B~2.2GB ternary—apache-2.0可商用需代理transformers: AutoModelForCausalLM.from_pretrained('openbmb/BitCPM-CANN-8B') / ollama create 从 https://huggingface.co/openbmb/BitCPM-CANN-8B-gguf 导入
Ornith-35B-MLX (AtomicChat) 35B~38GB 8-bit256KMIT可商用需代理mlx_lm.generate --model AtomicChat/ornith-35b-MLX-8bit --prompt Hello
Nemotron-Labs-Audex-2B (NVIDIA) 2B~1.2GB 4-bit128kNVIDIA OneWay Noncommercial License需自查需代理python -c "from transformers import AutoModel; AutoModel.from_pretrained('nvidia/Nemotron-Labs-Audex-2B', trust_remote_code=True)"
Granite-4.1-8B-GGUF (IBM) 8B~4.8GB 4-bit—apache-2.0可商用需代理llama.cpp -m granite-4.1-8b.gguf
Granite-4.1-30B (IBM) 30B~18GB 4-bit—Apache 2.0可商用需代理llama.cpp: huggingface-cli download lmstudio-community/granite-4.1-30b-GGUF --include '*.gguf' --local-dir . && ./llama-cli -m <file>
Ornith-35b-MLX-6bit (AtomicChat) 35B~21GB 4-bit256KMIT可商用需代理mlx_lm.generate --model AtomicChat/ornith-35b-MLX-6bit --prompt 'Hello'
Harness-1 (pat-jj) 20B~13GB 4-bit——需自查需代理transformers from_pretrained('pat-jj/harness-1')
Huihui-GLM-5.2-GGUF (huihui-ai) ———MIT可商用需代理huggingface-cli download huihui-ai/Huihui-GLM-5.2-abliterated-GGUF --local-dir ./glm52（需huggingface-cli） / llama-server -m ./glm52/GLM-5.2-UD-IQ1_M.gguf -c 4096（需编译llama.cpp）
prism-coder-14b (dcostenco) 14B~8.4GB 4-bit—apache-2.0可商用需代理llama-server -hf mradermacher/prism-coder-14b-GGUF --model prism-coder-14b.Q4_K_M.gguf / AutoModelForCausalLM.from_pretrained('dcostenco/prism-coder-14b')
HRM-Text-1B (sapientinc) 1B~0.7GB 4-bit4096Apache-2.0可商用需代理pip install git+https://github.com/huggingface/transformers.git@main / AutoModelForCausalLM.from_pretrained('sapientinc/HRM-Text-1B', trust_remote_code=True)
Nova-1-Standard-1.3B (Smilyai Labs) 1.27B~0.8GB 4-bit2048apache-2.0可商用需代理pipeline('text-generation', model='Smilyai-labs/Nova-1-Standard-1.3B-Preview', trust_remote_code=True, device_map='auto')
Nemotron-3-Nano-30B-A3B (NVIDIA) 30B (3B 激活)~33GB 8-bit—nvidia-open-model-license需自查需代理mlx_lm.generate --model mlx-community/NVIDIA-Nemotron-3-Nano-30B-A3B-OptiQ-4bit
gear-manual-qwen3-4b (Raindog) 4B~2.4GB 4-bit—cc-by-nc-4.0不可商用需代理mlx_lm.generate --model zak-raindog/gear-manual-qwen3-4b --prompt "如何使用EP-133?"
Ornith-1.0-35B-MLX (deepreinforce-ai) 35B (3B 活跃)~12GB 2-bit——需自查需代理uvx --from git+https://github.com/nathansutton/mlxcc chad
Mellum2-12B-A2.5B-Thinking (JetBrains) 12B~7.3GB 4-bit131kApache 2.0可商用需代理vllm serve JetBrains/Mellum2-12B-A2.5B-Thinking --max-model-len 131072 --reasoning-parser qwen3 / transformers.AutoModelForCausalLM.from_pretrained("JetBrains/Mellum2-12B-A2.5B-Thinking")
Grug-12B (kai-os) 12B~7.2GB 4-bit—other需自查需代理ollama run hf.co/kai-os/Grug-12B
Qwen3.5-35B-A3B (Qwen) 35B (3B 激活)~39GB 8-bit128kapache-2.0可商用需代理mlx_lm.generate --model mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit --prompt 'Explain quantum computing.' --max-tokens 200
Granite-4.1-3B-GGUF (IBM) 3B~1.8GB 4-bit—Apache-2.0可商用需代理llama.cpp -m granite-4.1-3b-Q4_K_M.gguf
Qwen3.6-35B-A3B-VQ (aquaman164) 35B (3B激活)~21GB 4-bit128kApache-2.0可商用需代理huggingface-cli download aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw --local-dir qwen-vq && python qwen-vq/code/vq_serve.py --model qwen-vq
Bonsai-27B (Prism ML) 27B~4.1GB 1-bit262KApache 2.0需自查需代理ollama run hf.co/prism-ml/Bonsai-27B-gguf / llama-server -hf prism-ml/Bonsai-27B-gguf -ngl 99 --jinja
Z-Image-Engineer-V6 (BennyDaBall) 4B~2.4GB 4-bit—Apache-2.0可商用需代理AutoModelForCausalLM.from_pretrained('BennyDaBall/Z-Image-Engineer-V6') / llama-server -hf BennyDaBall/Z-Image-Engineer-V6-GGUF
Minimalism (salakash) 0.5B~0.3GB 4-bit32kApache-2.0可商用需代理mlx_lm.server --model mlx-community/Qwen2.5-Coder-0.5B-Instruct-4bit --adapter-path salakash/Minimalism --port 8080 / python -c "from peft import PeftModel; PeftModel.from_pretrained('Qwen/Qwen2.5-Coder-0.5B-Instruct', 'salakash/Minimalism')"
Qwen3.6-35B-A3B (Qwen) 35B (3B 激活)~7.7GB ternary—Apache-2.0可商用需代理pip install 'turboquant-mlx-full>=0.12.3' && python -m turboquant_mlx.generate --model manjunathshiva/Qwen3.6-35B-A3B-tq3a-tqTe-g64
Qwen3.6-27b-Fable5 (hotdogs) 27B (基座) + LoRA~16GB 4-bit——需自查需代理vllm serve Qwen/Qwen3.6-27B --enable-lora --lora-modules fable=hotdogs/qwen3.6-27b-fable5-lora
Averroes-Q-Instruct (hayulalab) 7B~4.2GB 4-bit—apache-2.0可商用需代理llama-server -hf mradermacher/Averroes-Q-Instruct-GGUF --model Averroes-Q-Instruct.Q4_K_M.gguf / ollama run hf.co/mradermacher/Averroes-Q-Instruct-GGUF
aro-coder-4bit (ARO-Lang) 30B (3B active)~18GB 4-bit—MIT可商用需代理mlx_lm.load('ARO-Lang/aro-coder-4bit') / python -m mlx_lm.server --model ARO-Lang/aro-coder-4bit --port 8080 / ollama run aro-coder
Hy-MT2-30B-A3B-APEX (Tencent) 30B (3B 激活)~18GB 4-bit—Apache-2.0可商用需代理ollama run hf.co/alphaZimuth/Hy-MT2-30B-A3B-APEX-GGUF
GPT-OSS-20B (OpenAI) 20B (MoE)~7.1GB 2-bit—Apache 2.0需自查需代理mlx_lm.generate --model majentik/gpt-oss-20b-TurboQuant-MLX-2bit --prompt '你的提示'
Supra-Router-51M (SupraLabs) 51M~0.1GB 4-bit3840—需自查需代理AutoModelForCausalLM.from_pretrained('SupraLabs/Supra-Router-51M')
Delphi-25B (Marin Community) 25B~15GB 4-bit4kapache-2.0可商用需代理transformers.from_pretrained('marin-community/delphi-1e23-25Bparams-628Btokens')
BugTraceAI-CORE-Ultra-27B (BugTraceAI) 27B~16GB 4-bit4096Apache-2.0可商用需代理huggingface-cli download BugTraceAI/BugTraceAI-CORE-Ultra-27B-Q6 --include "*.gguf" --local-dir . && ./llama-server -m BugTraceAI-CORE-Ultra-SFT-Q6_K.gguf -ngl 99 -c 4096 / python -c "from llama_cpp import Llama; Llama.from_pretrained(repo_id='BugTraceAI/BugTraceAI-CORE-Ultra-27B-Q4', filename='BugTraceAI-CORE-Ultra-SFT-Q6_K.gguf')"
Quasar-Preview (silx-ai) 18B (2B active)~9.9GB 4-bit5M (实验性配置)MIT可商用需代理python -c "from transformers import AutoModelForCausalLM; AutoModelForCausalLM.from_pretrained('silx-ai/Quasar-Preview', trust_remote_code=True)"
HelixLM-40M-ep1 (david-thrower) 40.1M~0.1GB 4-bit1024Modified Apache 2.0需自查需代理transformers pipeline with trust_remote_code=True / transformers from_pretrained(trust_remote_code=True)
Qwen3.6-35B-A3B (andreaborio) 35B (3B 激活)~21GB 4-bit—apache-2.0可商用需代理ollama run hf.co/andreaborio/Qwen3.6-35B-A3B-DS4-ExpertMajor-v1-GGUF / llama-server -hf andreaborio/Qwen3.6-35B-A3B-DS4-ExpertMajor-v1-GGUF
Nemotron-Labs-Diffusion-14B (NVIDIA) 14B~8.1GB 4-bit—NVIDIA Nemotron Open Model License—需代理transformers from_pretrained()
NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B (NVIDIA) 75B (9.3B active)~49GB 8-bit1MOpenMDW-1.1需自查需代理vllm serve nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4 --trust-remote-code --mamba-backend flashinfer
Bonsai-27B-mlx-1bit (Prism ML) 27B~4.1GB 1-bit262Kapache-2.0可商用需代理mlx_lm.generate --model prism-ml/Bonsai-27B-mlx-1bit
Ternary-Bonsai-27B (Prism ML) 27B~7.3GB ternary262KApache-2.0可商用需代理ollama run hf.co/prism-ml/Ternary-Bonsai-27B-gguf / llama-server -hf prism-ml/Ternary-Bonsai-27B-gguf -ngl 99
FastContext-1.0-4B-SFT (Microsoft) 4B~2.4GB 4-bit262kMIT可商用需代理python3 -m sglang.launch_server --model-path microsoft/FastContext-1.0-4B-SFT --tool-call-parser qwen --context-length 262144 --trust-remote-code --dtype bfloat16 --host 0.0.0.0 --port 30000 --tp-size 1 --mem-fraction-static 0.8 / AutoModelForCausalLM.from_pretrained('microsoft/FastContext-1.0-4B-SFT')
Ternary Bonsai 27B (prism-ml) 27B~7.3GB ternary262kapache-2.0可商用需代理llama-server -hf prism-ml/Ternary-Bonsai-27B-gguf
Hy3-GGUF (腾讯) ——65536apache-2.0可商用魔搭可用ollama run hf.co/AngelSlim/Hy3-GGUF
Nanbeige4.2-3B (Nanbeige) 3B (4B 总参数)~1.8GB 4-bit131kapache-2.0可商用需代理ollama run nanbeige/nanbeige4.2:3b-Q4_K_M
VibeThinker-3B (WeiboAI) 3B~1.9GB 4-bit64kMIT可商用魔搭可用vllm serve WeiboAI/VibeThinker-3B / AutoModelForCausalLM.from_pretrained('WeiboAI/VibeThinker-3B')
DeepSeek-V4-Flash 158.1B~95GB 4-bit—mit可商用魔搭可用—
DeepSeek-V4-Pro 861.6B~517GB 4-bit—mit可商用魔搭可用—
Nemotron-Labs-Audex-30B-A3B (NVIDIA) 30B MoE (3B激活)~18GB 4-bit1MNVIDIA Oneway Noncommercial License需自查需代理python -c "from transformers import AutoModelForCausalLM; AutoModelForCausalLM.from_pretrained('nvidia/Nemotron-Labs-Audex-30B-A3B', trust_remote_code=True)"

Common pitfalls

  • 上下文窗口偏小，长文本场景受限 — AngelSlim/Hy3-GGUF
  • GLM 5.2 在部分横向对比中仍更强 — AngelSlim/Hy3-GGUF
  • 预览版曾存在地理限制（EU/UK/SK 不可用），正式版已切换为 Apache 2.0 — AngelSlim/Hy3-GGUF
  • 长上下文提示处理延迟突出，38K token 的 prompt 处理耗时 17.3 秒 — aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw
  • 对 prompt 格式异常敏感，会在与上下文冲突时强行将示例塞入回答 — aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw
  • 嵌套 JSON 输出不可靠，改用 XML 格式后表现正常 — aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw
  • 部分用户在 OpenCode 中遇到重复循环和空字符串函数调用问题，后自行归因于参数配置 — aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw
  • Q6_K 量化版本在编码规划和组织逻辑上被社区报告优于 Q8_0，大不一定更好 — aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw
  • BenchLM 综合评分仅 51.47/100，排名 #104/200 — aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw
  • 物理合理性图像生成弱于 Claude Opus 4.7（flamingo 骑独轮车测试中 Opus 更接近物理真实） — aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw
  • 需要耐心调参，非开箱即用的完美体验 — aquaman164/Qwen3.6-35B-A3B-MLX-VQ-2.6bpw
  • 图像生成本身复杂度高，对显存/内存需求较大 — BennyDaBall/Z-Image-Engineer-V6
  • 社区对其能否替代现有主流模型尚无定论 — BennyDaBall/Z-Image-Engineer-V6
  • 并非一键自动黑客，仅作为辅助工具，自动化效果有限 — BugTraceAI/BugTraceAI-CORE-Ultra-27B-Q6
  • 27B Q6_K 量化对本地硬件仍有较高门槛 — BugTraceAI/BugTraceAI-CORE-Ultra-27B-Q6
  • 不是通用聊天模型，不适用于日常对话场景 — BugTraceAI/BugTraceAI-CORE-Ultra-27B-Q6
  • MTP（max-token=3）版本的代码质量可能低于非 MTP 版本 — bytkim/Qwen3.6-27B-MTP-pi-tune-GGUF
  • 复杂的多文件架构级编码任务仍不如 Claude — bytkim/Qwen3.6-27B-MTP-pi-tune-GGUF
  • opencode 配置为 CLI agent 需要大量调优，不如 Claude Code 开箱即用 — bytkim/Qwen3.6-27B-MTP-pi-tune-GGUF
  • 微调后的 reasoning 变体在 benchmark 上出现能力下降 — bytkim/Qwen3.6-27B-MTP-pi-tune-GGUF
  • MTP 在创意编码场景下的速度优势未获结论性验证 — bytkim/Qwen3.6-27B-MTP-pi-tune-GGUF
  • 综合基准评分(AA 28)明显弱于同规模 Qwen 3.6 35B(AA 43) — CohereLabs/North-Mini-Code-1.0
  • 在已有代码库上修改/协作时效果急剧下降,社区反馈'失败得很惨' — deepreinforce-ai/Ornith-1.0-35B
  • 实际编码任务中表现不佳，仅发现几乎所有模型都能发现的bug — deepreinforce-ai/Ornith-1.0-9B
  • 无工具环境的对话中幻觉严重 — deepreinforce-ai/Ornith-1.0-9B
  • 会幻觉工具调用及其输出 — deepreinforce-ai/Ornith-1.0-9B
  • 思考/规划阶段耗时较长，可能等待数分钟才开始执行 — deepseek-ai/DeepSeek-V4-Flash
  • 有时会忽略用户给出的具体指令 — deepseek-ai/DeepSeek-V4-Flash
  • 一次生成往往不够，需要多轮 review/refactor 才能达到满意结果 — deepseek-ai/DeepSeek-V4-Flash
  • 存在 expired-lease 完成 bug：原 worker 已释放租约但仍可能继续完成步骤 — deepseek-ai/DeepSeek-V4-Flash
  • 长上下文检索任务（800K token 仓库中定位函数调用图）表现明显弱于 Pro-Max（1/3 vs 3/3） — deepseek-ai/DeepSeek-V4-Flash
  • 复杂推理、长链条调试和分析型任务不如 V4 Pro 稳定 — deepseek-ai/DeepSeek-V4-Flash
  • 在扩展思考（extended thinking）和真实场景中，Qwen 3.6 Plus、Minimax M2.7、GLM 5.1 等国产模型表现更优 — deepseek-ai/DeepSeek-V4-Flash
  • 部分场景下 token 生成速度偏慢 — deepseek-ai/DeepSeek-V4-Flash
  • 对系统指令极为字面化且敏感，容易因提示措辞产生意外行为 — deepseek-ai/DeepSeek-V4-Pro
  • 细节丰富程度不如 Claude Opus — deepseek-ai/DeepSeek-V4-Pro
  • 代码库规模和复杂度增大后，对模糊提示的容错性显著下降，要求精确描述 — deepseek-ai/DeepSeek-V4-Pro
  • 在 Arena 众包用户偏好基准上表现不佳，用户主观偏好低于能力基准得分 — deepseek-ai/DeepSeek-V4-Pro
  • 在编码工具链中存在低效的随机搜索和 grep 行为，部分归因于 harness — deepseek-ai/DeepSeek-V4-Pro
  • 基准测试中输出 token 消耗远高于同类开源模型中位数（190M vs 47M），运行成本达 $1,071 — deepseek-ai/DeepSeek-V4-Pro
  • 编码能力存在分歧，部分用户认为 Kimi K2.6 编码更强 — deepseek-ai/DeepSeek-V4-Pro
  • 上下文窗口增大后出现循环和错误操作，可能与采样参数设置有关 — empero-ai/Qwythos-9B-Claude-Mythos-5-1M
  • 非通用聊天模型，是推理模型，需严格按模型卡指定采样参数使用 — empero-ai/Qwythos-9B-Claude-Mythos-5-1M
  • 1B规模的固有上限，不适合需要前沿模型能力的复杂场景 — GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking
  • 并非 Claude 替代品,声称能平替 Claude 的说法被社区认为夸大 — hotdogs/qwen3.6-27b-fable5-lora
  • 将 opencode 调通为 CLI agent 需要大量调参,远不如 Claude Code 开箱即用 — hotdogs/qwen3.6-27b-fable5-lora
  • 在部分基准上 Qwen3.6 反而不如 Qwen3.5 和 Gemma 4 — hotdogs/qwen3.6-27b-fable5-lora
  • 因内置思考与规划机制,响应速度比 35B-A3B 慢 — hotdogs/qwen3.6-27b-fable5-lora
  • hotdogs LoRA 仓库要求同意联系方式共享才能访问模型文件 — hotdogs/qwen3.6-27b-fable5-lora
  • abliteration 被描述为「粗糙的概念验证实现」，并非成熟方案 — huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated
  • 有社区用户反馈 huihui 的去审查模型整体上「失去的比得到的多」 — huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated
  • Gemma 4 12B 缺乏专用视觉编码器，视觉理解能力受限 — huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated
  • 模型卡片明确声明不适合生产环境或面向公众的应用 — huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated
  • 内容过滤极其有限，可能生成不适宜的输出 — huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated
  • FP16 全精度推理需约 26GB 显存，多数消费级 GPU 无法承载 — huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated
  • 使用者需自行承担法律和伦理风险 — huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated
  • 有社区用户评价 abliterated 版本「pretty useless」，实际可用性受质疑 — huihui-ai/Huihui-GLM-5.2-abliterated-GGUF
  • 长上下文精确检索落后 Opus 4.8 约 3.4-3.6 分 — huihui-ai/Huihui-GLM-5.2-abliterated-GGUF
  • 原版审查极严，必须依赖 abliteration 才能解锁无审查能力 — huihui-ai/Huihui-GLM-5.2-abliterated-GGUF
  • Sonnet 5 在 50K 上下文下推理速度更快，检索质量则参差不齐 — huihui-ai/Huihui-GLM-5.2-abliterated-GGUF
  • 首批样本生成存在部分错误，官方已对两个失败模式进行复测 — huihui-ai/Huihui-Qwythos-9B-Claude-Mythos-5-1M-abliterated-GGUF
  • 训练数据来自 Claude 会话日志合成的 CoT，非原生人类标注数据 — huihui-ai/Huihui-Qwythos-9B-Claude-Mythos-5-1M-abliterated-GGUF
  • MTP 版本在边缘场景测试中表现不如基础版 — Jackrong/Qwopus3.5-9B-Coder-MTP-GGUF
  • 量化质量仍存在社区疑问 — Jackrong/Qwopus3.5-9B-Coder-MTP-GGUF
  • Q8 量化在 llama.cpp 中会崩溃 — Jackrong/Qwopus3.6-27B-v2-MTP-GGUF
  • 缺少 MLX 和 NVFP4 量化版本 — Jackrong/Qwopus3.6-27B-v2-MTP-GGUF
  • 社区仍在进行参数调优，实际编码流程中的集成测试尚未完成 — Jackrong/Qwopus3.6-27B-v2-MTP-GGUF
  • ROCM 后端存在硬锁问题，目前仅 Vulkan 后端稳定运行 — JetBrains/Mellum2-12B-A2.5B-Instruct
  • 非编码类任务表现中等（综合评分 8.62/10，部分任务结果一般） — JetBrains/Mellum2-12B-A2.5B-Instruct
  • 非编码类任务表现一般，综合评分存在短板 — JetBrains/Mellum2-12B-A2.5B-Thinking
  • ROCm兼容性存在问题，部分用户遇到GPU硬锁 — JetBrains/Mellum2-12B-A2.5B-Thinking
  • 存在重复输出问题，llama.cpp 用户社区讨论中反馈了此问题 — Jiunsong/supergemma4-26b-uncensored-gguf-v2
  • VRAM 需求较高，18-22 GB 显存，24GB 统一内存为最低舒适门槛，32GB 更佳 — Jiunsong/supergemma4-26b-uncensored-gguf-v2
  • 模型有时会先绕弯子再给出直接回答，并非完全直出 — Jiunsong/supergemma4-26b-uncensored-gguf-v2
  • 当前状态不佳，业务挣扎导致技术侧妥协 — kai-os/Grug-12B
  • 几乎无人为平台开发应用，生态萎缩 — kai-os/Grug-12B
  • 安全方面存在明显短板 — kai-os/Grug-12B
  • 知识密集型任务和编程场景表现不佳 — LiquidAI/LFM2.5-1.2B-JP-202606
  • 官方建议针对具体场景微调以获得最佳效果 — LiquidAI/LFM2.5-1.2B-JP-202606
  • 当前原生行为/能力尚简单,需自行微调才能适配具体生产任务 — LiquidAI/LFM2.5-230M
  • 通用对话与复杂推理能力有限,不适合直接作为日常聊天模型使用 — LiquidAI/LFM2.5-230M
  • 编程能力较弱，6 项 coding 测试中 4 项失败 — LiquidAI/LFM2.5-8B-A1B
  • 混合架构（18 conv + 6 attention）与主流 transformer 生态的兼容性需自行验证 — LiquidAI/LFM2.5-8B-A1B
  • 通用对话/知识问答能力未经充分社区验证，主要定位为 agent/工具调用场景 — LiquidAI/LFM2.5-8B-A1B
  • 无推理能力，不适合复杂任务 — lmstudio-community/granite-4.1-30b-GGUF
  • 社区实测反馈极少，实际表现难以评估 — lmstudio-community/granite-4.1-30b-GGUF
  • 通用场景下不如 Qwen 等更大模型，仅适合自动补全等小任务 — lmstudio-community/granite-4.1-3b-GGUF
  • 上下文填充后生成速度可能下降 — lmstudio-community/granite-4.1-3b-GGUF
  • 较小变体(如4B)在部分用户场景下表现不佳 — lmstudio-community/granite-4.1-8b-GGUF
  • 训练数据时效性存疑,可能影响实际使用意愿 — lmstudio-community/granite-4.1-8b-GGUF
  • 许可证含非商业限制，并非开源或通常意义上的开放权重，商用需注意合规风险 — lmstudio-community/MiniMax-M2.7-GGUF
  • 存在速度问题，实际使用中响应延迟可能影响体验 — lmstudio-community/MiniMax-M2.7-GGUF
  • 官方提到的内部脚手架（Agent Loop 等）可能无法直接在本地部署中使用 — lmstudio-community/MiniMax-M2.7-GGUF
  • 前代 M2.5 在高级工具调用与复杂任务中表现令人失望，M2.7 的稳定性与泛化能力仍需更多社区验证 — lmstudio-community/MiniMax-M2.7-GGUF
  • 对量化精度和推理参数极其敏感，参数不对时表现明显下降 — manjunathshiva/Qwen3.6-35B-A3B-tq3a-tqTe-g64
  • MoE 的专家激活机制并不像社区预期那样能「解锁」更多模型能力 — manjunathshiva/Qwen3.6-35B-A3B-tq3a-tqTe-g64
  • Power Ranking 编码任务仅比上代 Qwen 3.5 同尺寸略好（11/98 vs 10/98），提升有限 — manjunathshiva/Qwen3.6-35B-A3B-tq3a-tqTe-g64
  • 在编码任务上被 Qwen 3.5 27B 密集模型大幅超越（26/98 vs 11/98），不属同一级别 — manjunathshiva/Qwen3.6-35B-A3B-tq3a-tqTe-g64
  • 知识和技能类基准表现明显弱于其他维度，存在「刷榜」嫌疑 — manjunathshiva/Qwen3.6-35B-A3B-tq3a-tqTe-g64
  • SVG 生成在物理合理性/遵循约束方面不如 Claude Opus 4.7 — manjunathshiva/Qwen3.6-35B-A3B-tq3a-tqTe-g64
  • 表现不稳定，属于「碰对了参数就很好用」的类型 — manjunathshiva/Qwen3.6-35B-A3B-tq3a-tqTe-g64
  • 证据仅涉及缩放定律预测精度，无社区讨论涉及模型实际生成质量、推理吞吐或日常使用体验 — marin-community/delphi-1e23-25Bparams-628Btokens
  • 当前讨论集中在训练效率与损失预测，缺乏下游任务评估（benchmark 表现、人类偏好等）的证据 — marin-community/delphi-1e23-25Bparams-628Btokens
  • 社区讨论度很低,Reddit 帖子直言"Why is NO one talking about" — microsoft/FastContext-1.0-4B-RL
  • 作为子 agent 而非独立模型,需要配合主 coding agent 使用,不能单独完成编码任务 — microsoft/FastContext-1.0-4B-RL
  • 与现有 agent 工作流的实际集成仍处于早期阶段,社区自行添加支持 — microsoft/FastContext-1.0-4B-RL
  • 官方仅提及"边际开销很小",但缺乏子 agent 本身的详细性能基准 — microsoft/FastContext-1.0-4B-RL
  • 端到端解决率提升仅最高5.5%,并非颠覆性改进 — microsoft/FastContext-1.0-4B-SFT
  • 仅支持只读工具(READ/GLOB/GREP),不能写代码或修改文件 — microsoft/FastContext-1.0-4B-SFT
  • FP16推理仍需约8.8GB VRAM,低配GPU需量化才能运行 — microsoft/FastContext-1.0-4B-SFT
  • 必须配合主编码代理使用,不能独立完成编码任务 — microsoft/FastContext-1.0-4B-SFT
  • 目前仅验证在Mini-SWE-Agent框架下的效果,其他代理框架兼容性未知 — microsoft/FastContext-1.0-4B-SFT
  • RL版本(4B-RL)也已发布但社区讨论极少,实际效果待验证 — microsoft/FastContext-1.0-4B-SFT
  • 模型族跨度4B-30B,但社区关注几乎全集中在4B版本,大版本缺乏实测 — microsoft/FastContext-1.0-4B-SFT
  • MLX 社区不如 GGUF 活跃，模板修复和量化改进滞后 — mlx-community/Llama-2-7b-chat-mlx
  • 实际使用可能出现崩溃、prompt 缓存缺失、内存压力问题 — mlx-community/Llama-2-7b-chat-mlx
  • 宣传的 token 速度在实际场景中可能被夸大 — mlx-community/Llama-2-7b-chat-mlx
  • mlx-community 模型集合维护不足，部分模型系列只有少量转换 — mlx-community/Llama-2-7b-chat-mlx
  • 权重从 bfloat16 转为 float16 存储，numpy 兼容性受限 — mlx-community/Llama-2-7b-chat-mlx
  • 在相同硬件上吞吐量低于 gemma-2-9b，尽管参数量更少 — mlx-community/Meta-Llama-3-8B-Instruct-4bit
  • MMLU Pro 评测结果存在一定的随机波动，单次跑分需谨慎解读 — mlx-community/Meta-Llama-3-8B-Instruct-4bit
  • 基准测试表现不及 GLM 4.7 Flash — mlx-community/NVIDIA-Nemotron-3-Nano-30B-A3B-OptiQ-4bit
  • 能力评分仅 27.0%，官方定位为玩具代理和提示词重写器，不适合复杂推理或生产级应用 — mlx-community/Qwen3.5-0.8B-OptiQ-4bit
  • omlx v0.2.20 升级后曾出现 Internal server error，社区工具链稳定性有待观察 — mlx-community/Qwen3.5-0.8B-OptiQ-4bit
  • 0.8B 参数规模天然受限，仅适合极轻量场景 — mlx-community/Qwen3.5-0.8B-OptiQ-4bit
  • Capability Score 仅 48%,远低于同系列 4B(81.5%)和 9B(90%),能力上限有限 — mlx-community/Qwen3.5-2B-OptiQ-4bit
  • MLX 模型在 LM Studio 中 prompt caching 目前存在已知 bug — mlx-community/Qwen3.5-2B-OptiQ-4bit
  • 部分 MLX 版 Qwen3.5 存在崩溃和无视设置强行注入 thinking 标签的社区反馈 — mlx-community/Qwen3.5-2B-OptiQ-4bit
  • 实际编码任务中不如 Claude Sonnet 可靠，跑分不等于实战 — mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit
  • 默认推理参数（temperature/top-p/top-k/penalties）很差，必须按官方建议调整 — mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit
  • 初次使用容易觉得表现不佳，需要精心打磨系统提示词才能发挥 — mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit
  • API 端吞吐量仅 36 tok/s，不及 Qwen3 Coder Next 的 70 tok/s — mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit
  • 输出上限 82K tokens，不及 Qwen3 Coder Next 的 262K — mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit
  • 不要指望它在实际任务中挑战旗舰模型 — mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit
  • 仅支持 MLX 框架，非 Apple Silicon 设备不可用 — mlx-community/Qwen3.5-9B-OptiQ-4bit
  • 统一内存架构下量化模型仍受带宽限制，投机解码对量化目标的加速有限（27B-4bit 仅 1.90x） — mlx-community/Qwen3.5-9B-OptiQ-4bit
  • 纯 attention 模型（如 Qwen3、Gemma）无法享受 GatedDeltaNet 的 tape-replay 投机解码优势 — mlx-community/Qwen3.5-9B-OptiQ-4bit
  • mlx-community 的量化模型为社区维护，非官方出品 — mlx-community/Qwen3.5-9B-OptiQ-4bit
  • 社区曾对 mlx-optiq 量化的可靠性存疑，初期缺乏实际使用反馈 — mlx-community/Qwen3.5-9B-OptiQ-4bit
  • mlx-community 下存在多种量化版本（均匀 4-bit 与 OptiQ），用户需注意区分 — mlx-community/Qwen3.5-9B-OptiQ-4bit
  • 基于 Qwen 2.5 的 3B 参数模型,声称能与前沿模型匹敌的说法缺乏独立验证,社区认可度低 — mradermacher/Mythos-nano-i1-GGUF
  • 仅在单一工具调用路由基准上验证，缺乏通用编码任务或实际项目中的实测数据 — mradermacher/prism-coder-14b-GGUF
  • 编码是明显短板:6 项实测中 4/5 的编码测试未通过 — mudler/LFM2.5-8B-A1B-APEX-GGUF
  • 无工具纯聊天场景下幻觉倾向明显 — nathansutton/Ornith-1.0-35B-UD-Q2_K_XL-MLX
  • 实际编码任务中仅发现多数模型都能找到的常见 bug，与高基准分形成反差 — nathansutton/Ornith-1.0-35B-UD-Q2_K_XL-MLX
  • 存在虚构工具调用及输出的风险 — nathansutton/Ornith-1.0-35B-UD-Q2_K_XL-MLX
  • 基准测试分数普遍低于标准 Gemma 4（约 5-19 分差距），开箱即用的推理能力不如原始模型 — nvidia/diffusiongemma-26B-A4B-it-NVFP4
  • NVFP4 量化在非数据中心 GPU 上兼容性存疑，GB200 与消费级 Blackwell RTX 50 系列的计算能力不完全兼容 — nvidia/diffusiongemma-26B-A4B-it-NVFP4
  • 部分社区自制 NVFP4 量化版本（如 RedHatAI）质量问题严重，被描述为「完全搞砸了」 — nvidia/diffusiongemma-26B-A4B-it-NVFP4
  • 存在 JSON 输出格式问题，包括引号重复和三引号错误 — nvidia/diffusiongemma-26B-A4B-it-NVFP4
  • 块状并行生成偏向「流畅」而牺牲事实准确性，被社区描述为「只在乎流畅」 — nvidia/diffusiongemma-26B-A4B-it-NVFP4
  • 基准测试结果存在异常（NVFP4 在某些测试中反而超过全精度），暗示单次运行方差大、结果不可靠 — nvidia/diffusiongemma-26B-A4B-it-NVFP4
  • 错误率显著更高（标题称 6x 更多错误），不适合对准确性要求极高的任务 — nvidia/diffusiongemma-26B-A4B-it-NVFP4
  • 在特定重复性任务上经微调后才具竞争力，零样本表现有限 — nvidia/diffusiongemma-26B-A4B-it-NVFP4
  • 社区讨论度极低，实际使用反馈稀缺 — nvidia/Nemotron-Labs-Audex-2B
  • 社区实际使用案例稀少,有用户直接质疑是否有人真正在用 — nvidia/Nemotron-Labs-Diffusion-14B
  • 部分讨论将其与图像生成模型(eDiffi/DALL-E)混淆,存在认知偏差 — nvidia/Nemotron-Labs-Diffusion-14B
  • 社区实测反馈极少,除个别用户外缺乏广泛真实使用验证 — nvidia/Nemotron-Labs-TwoTower-30B-A3B-Base-BF16
  • NVFP4 相比 FP8 的质量损失尚未被充分验证 — nvidia/Qwen3.6-27B-NVFP4
  • 需要约 40 GB VRAM,最低需 L40S 48GB 或双卡方案 — nvidia/Qwen3.6-27B-NVFP4
  • 双 3090 方案占用空间大、发热高 — nvidia/Qwen3.6-27B-NVFP4
  • DGX Spark 上 35B MoE NVFP4 加推测解码实际仅约 50 tok/s,远低于宣传的 110 tok/s — nvidia/Qwen3.6-27B-NVFP4
  • NVFP4 在 Blackwell (SM120) 上并不比 FP8 更快 — nvidia/Qwen3.6-27B-NVFP4
  • 作为 CLI 编码代理配置(opencode)需要额外调校,不如 Claude Code 开箱即用 — nvidia/Qwen3.6-27B-NVFP4
  • NVIDIA 版本的 NVFP4 部分不使用 NVFP4 激活,仅做权重量化 — nvidia/Qwen3.6-27B-NVFP4
  • vLLM 在 16GB 消费卡上内存上限为 16K,长上下文受限 — nvidia/Qwen3.6-27B-NVFP4
  • NVFP4 量化存在质量损失，可能出现失控生成和退化循环 — nvidia/Qwen3.6-35B-A3B-NVFP4
  • 在架构写作等非编程任务上，同系 27B 稠密模型可能更优 — nvidia/Qwen3.6-35B-A3B-NVFP4
  • DGX Spark 上更新 vLLM 会遇到依赖冲突，部署有坑 — nvidia/Qwen3.6-35B-A3B-NVFP4
  • 稠密模型（27B）在某些任务上质量更好，只是速度不及 MoE — nvidia/Qwen3.6-35B-A3B-NVFP4
  • NVFP4 格式依赖 NVIDIA 硬件和 vLLM，通用性受限 — nvidia/Qwen3.6-35B-A3B-NVFP4
  • GGUF 格式转换存在问题，unsloth 和 bartowski 已确认正在调查，llama.cpp 加载报错 — OBLITERATUS/Gemma-4-12B-OBLITERATED
  • 关闭 thinking 模式后可能不需要 abliteration 即可绕过拒绝 — OBLITERATUS/Gemma-4-12B-OBLITERATED
  • 社区反馈 safetensors 格式变体尚未提供 — openbmb/BitCPM-CANN-8B
  • 模型卡缺少 base_model 元数据标注 — openbmb/BitCPM-CANN-8B
  • 并非对标云端大模型的前沿能力，整体上限受限于 1B 参数量级 — openbmb/MiniCPM5-1B
  • harness 效果受限于模型调优，prompt 结构和特殊 token 配置不当会带来糟糕体验 — pat-jj/harness-1
  • bagels 在 HN 讨论中指出存在 prompt 注入风险 — pat-jj/harness-1
  • 社区对各类 harness 的差异化难以判断，选择缺乏客观基准，被 Reddit 用户形容为类似「Broscience」 — pat-jj/harness-1
  • 需要 PrismML 维护的 llama.cpp 分支才能加载，不兼容上游 llama.cpp，且该分支版本滞后于上游 — prism-ml/Bonsai-8B-mlx-1bit
  • 无语法约束时工具调用完全不可用，原始输出通过率为 0% — prism-ml/Bonsai-8B-mlx-1bit
  • 有用户实测认为其回答质量远不如 Gemma-4-E2B（Bonsai 仅比 Gemma 小 29%），且三元版本表现更差 — prism-ml/Bonsai-8B-mlx-1bit
  • 1-bit 量化可能过度损害模型能力,8B 版本实测远逊于同量级 Gemma-4-E2B — prism-ml/Bonsai-27B-mlx-1bit
  • 实际输出质量难以评判,1-bit 模型的可用性仍有待验证 — prism-ml/Bonsai-27B-mlx-1bit
  • 三元(Bonsai)版本表现甚至比 1-bit 版本更差 — prism-ml/Bonsai-27B-mlx-1bit
  • 指令遵循缺乏精细度，不能稳定按预设流程（如自动加载指定 skill）执行 — prism-ml/Ternary-Bonsai-27B-gguf
  • 综合实用表现（生产力助理、知识库管理）不如同配置下的其他量化模型（Qwen 3.6 27B Q2_K_XL、Gemma 4 12B QAT） — prism-ml/Ternary-Bonsai-27B-gguf
  • Agentic coding 场景表现不佳 — prism-ml/Ternary-Bonsai-27B-gguf
  • 视觉任务能力明显弱于同级替代方案 — prism-ml/Ternary-Bonsai-27B-gguf
  • 需使用 PrismML 的 llama.cpp 分支，无法直接通过官方 llama.cpp 加载（来源 2） — prism-ml/Ternary-Bonsai-8B-mlx-2bit
  • 实际生成质量不如同参数规模的常规模型，有用户反馈 Bonsai-8B「比 Gemma-4-E2B 笨得多」（来源 0） — prism-ml/Ternary-Bonsai-8B-mlx-2bit
  • 仍依赖 GPU，并未真正实现 1-bit 模型「去除 GPU 瓶颈」的目标（来源 4） — prism-ml/Ternary-Bonsai-8B-mlx-2bit
  • Ternary 版本在部分实测中表现反而不如 1-bit 版本（来源 0） — prism-ml/Ternary-Bonsai-8B-mlx-2bit
  • 定位模糊,官方未清晰说明其与通用聊天/指令模型的区别,导致社区困惑 — Qwen/Qwen-AgentWorld-35B-A3B
  • 从专家级难度起频繁输出空白,复杂任务上崩溃 — Qwen/Qwen-AgentWorld-35B-A3B
  • 不适合作为代码生成器使用 — Qwen/Qwen-AgentWorld-35B-A3B
  • 非标准聊天/指令模型,不能当作通用对话助手 — Qwen/Qwen-AgentWorld-35B-A3B
  • 推理过程较长 — Qwen/Qwen-AgentWorld-35B-A3B
  • 社区指出存在benchmark gaming的可能，即仅针对特定基准优化的风险 — sapientinc/HRM-Text-1B
  • Hacker News内容局限于科技与创业新闻，不适合一般受众 — salakash/Minimalism
  • 在二手平台转售物品的体验让人失望，实际收益远低于购买成本，并非值得推崇的消费理由 — salakash/Minimalism
  • 整体表现未达 SOTA 水平 — silx-ai/Quasar-Preview
  • 感觉被有意收敛，不如 Claude 或 Gemini 放得开 — silx-ai/Quasar-Preview
  • 是否开源不明确，发布时间模糊 — silx-ai/Quasar-Preview
  • 仍处于早期预训练阶段，仅为checkpoint而非成品模型 — Smilyai-labs/Nova-1-Standard-1.3B-Preview
  • 合规性与行为表现评级为F- — Smilyai-labs/Nova-1-Standard-1.3B-Preview
  • 无特定功能特性 — Smilyai-labs/Nova-1-Standard-1.3B-Preview
  • 基于 Qwen 2.5 的 3B 模型声称对标前沿模型,benchmark 宣称缺乏独立复现和社区背书 — squ11z1/Mythos-nano
  • 社区关注度极低,缺乏实际使用反馈和第三方评测 — squ11z1/Mythos-nano
  • 部分用户反馈翻译质量不如前代 Hy-MT1.5 — tencent/Hy-MT2-1.8B-GGUF
  • 对自定义工具调用格式（如 <call>...</call>）遵循能力差 — w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP
  • 部分 prompt 字符串会破坏输出逻辑 — w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP
  • 在多语言交流中逻辑有问题，英语场景也偶有出现 — w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP
  • 事实性任务中存在明显幻觉 — w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP
  • benchmark 高分与实际使用可靠性之间存在落差 — w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP
  • 不能替代 Opus 等大模型用于专业日常工作 — w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP
  • 纯编码能力上 Gemma-4-12B 可能略优 — w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP
  • 基准分数为自报，未经独立第三方验证 — WeiboAI/VibeThinker-3B
  • 非通用模型，知识类基准 GPQA-Diamond 仅 70.2，远低于推理基准表现 — WeiboAI/VibeThinker-3B
  • 实际编码场景（如 PDF 转代码、线性代数例程）效果差，社区反馈不如 Qwen 3.5 4B — WeiboAI/VibeThinker-3B
  • 存在基准过拟合（benchmaxing）嫌疑 — WeiboAI/VibeThinker-3B
  • 当前不支持工具调用 — WeiboAI/VibeThinker-3B
  • LM Studio 默认模板会错误匹配 Qwen 的推理 token，导致模型推理能力被关闭，需手动在 Jinja 模板首行添加 {%- set enable_thinking = true %} 并修改起止 token — wepiqx/gemma-4-12B-it-LWQ6-GGUF
  • 使用官方推荐的采样参数（temperature=1.0, top_p=0.95, top_k=64）才能获得最佳推理质量，降低温度反而有损表现 — wepiqx/gemma-4-12B-it-LWQ6-GGUF
  • 12B 参数规模存在硬上限：在 Python bug 挖掘测试中仅找到 6 个 bug，而 Qwen 35B 找到 14 个 — wepiqx/gemma-4-12B-it-LWQ6-GGUF
  • LM Studio 等工具的开箱配置目前对 Gemma 4 不友好，需要用户了解推理 token 机制才能正确配置 — wepiqx/gemma-4-12B-it-LWQ6-GGUF
  • 上下文超过约 65k 时出现 OOM — Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed
  • MTP 模式下代码质量可能不如使用独立 draft model (Qwen3.5-0.8B) — Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed
  • SVG 生成效果不佳,与 GLM 5.1 相比明显偏弱 — Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed
  • 数学能力弱于 35B-A3B (AIME 87.8 vs 92.7) — Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed
  • MTPLX v0.1.0-preview 仅支持 Qwen3-Next-MTP,兼容范围有限 — Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed
  • 即使是 4-bit 量化仍需约 20GB 内存,对 16GB 设备仍有门槛 — Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed
  • 量化低于 Q4 时模型性能严重退化 — yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2
  • 实际 agentic 工具调用场景中简单工具调用仍不可靠 — yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2
  • 同尺寸竞品 Qwen 3.5 9B 在 5/8 项基准测试中胜出,且参数量更小 — yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2
  • encoder-free 架构较新,社区适配和调试存在一定门槛 — yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2
  • 该微调为社区实验性产物,非官方发布 — yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2
  • 定性/创意类任务的实际表现可能不同于基准分数 — yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2
  • OpenCode 下工具调用极差，Q8 量化连一次工具调用都无法完成，只回复"Okay."（evidence 4、7） — yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
  • 工具调用时反复无法正确指定参数（如 grep 的 pattern），调用被拒绝（evidence 7） — yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
  • 有用户明确表示不会用它做编程调试，倾向 Gemma-4-31B 或 Qwen3.6-27B（evidence 1） — yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
  • 该 Fable-5 微调被质疑为噱头，认为 12B 模型无法承载更大模型的推理能力（evidence 2） — yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
  • 官方 8Q 模型存在拒答问题，需 heretic 版本才能正常生成（evidence 6） — yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
  • Q8 量化生成速度骤降至 25.2 t/s，相比 Q4 的 72.3 t/s 大幅下降（evidence 5） — yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
  • 尚无 assistant 模型的 GGUF 量化版本（evidence 5） — yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
  • MTP（多 token 预测）支持仍在开发中（evidence 5） — yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
  • About one-third of the cards in the table have empty (unknown) vram fields, which does not mean they can fit into 16GB; actual measurement in a specific inference framework is required—by default we do not exclude unknowns to avoid thinning the table, see docs/research/2026-07-guide-inventory.md §2 for data scope.
  • Some 30B+ models kept in the table (e.g., deepreinforce-ai/Ornith-1.0-35B, Qwen/Qwen-AgentWorld-35B-A3B, CohereLabs/North-Mini-Code-1.0) have native Q4 estimates already exceeding 16GB; although there are corresponding GGUF quant forms in the library, the specific VRAM numbers for those quant forms are not recorded—please check the quant notes in the respective repository before downloading.

FAQ

Does a Mac with 16GB unified memory count?
Yes, but stick to MLX/GGUF forms. The mlx-community series in the table (e.g., mlx-community/Meta-Llama-3-8B-Instruct-4bit ~1.1GB, mlx-community/Qwen3.5-2B-OptiQ-4bit ~0.3GB) are quant forms optimized for Apple Silicon unified memory; 16GB unified memory is shared with the system and other apps, and the quantized VRAM number is only the model weights themselves—we recommend leaving headroom rather than hitting the exact limit.
Can cards with unknown vram be excluded outright?
Not recommended. About one-third of the rows have empty vram; this is a data gap, not a signal of 'unusable'—most are cards that have been released but haven't had VRAM estimates backfilled. Whether they actually fit in 16GB should be tested in llama.cpp/vLLM according to the quant level.
Are the excluded large models completely impossible to run locally?
The 11 models excluded on this page were excluded because 'Q4 estimates clearly exceed 16GB and the library has no lower-bit forms'. For example, zai-org/GLM-5.2 (753B, the card itself notes cloud_only:true and not_for explicitly states 'local consumer hardware deployment') essentially has no 16GB solution. However, some 30B+ models kept in the table (like Ornith-1.0-35B) have native estimates over 16GB but already have GGUF versions—just that the specific quantized VRAM numbers are not recorded; if you want to try, check the quant notes in that repository yourself.