Meta-Llama-3-8B-Instruct-4bit (mlx-community)

独立证据与社区反馈

6 个独立来源最近验证 2026-08-09

Llama 3 8B 在发布时是性能亮眼的 8B 开源模型，MMLU 上超越 Mistral 7B 与 Llama 2 70B；mlx-community 的 4bit 量化版在 Apple Silicon 上通过 MLX 后端获得显著速度优势，推理快于 llama.cpp，是本地部署的性价比之选。

• 8B 模型在 MMLU 上超越 Mistral 7B、Gemma 7B 及 Llama 2 70B 等更大模型 (13)
• MLX 后端在 Apple Silicon 上推理速度比 llama.cpp 快 20-87%（14B 以下模型）(9)
• MLX 4bit 量化在 token 处理与生成上分别比 llama.cpp Q4_K_M 快约 1.14x 和 1.12x (2)
• 4bit 量化为 Apple Silicon 上的质量与体积平衡甜点，量化质量损失仅约 3.3% (9)
• Llama 3 系列像「海绵」一样易于微调训练，吸收能力好 (5)
• MLX 原生运行在 Apple Silicon 统一内存上，无需翻译层，吞吐量优于或持平 llama.cpp (10)

• LM Studio 的 MLX 后端在反复加载/卸载模型后可能出现性能下降，需重启解决 (1)
• LM Studio 的 MLX 后端偶有生成时进入无限循环的问题 (1)

• 社区实测r/LocalLLaMA on Reddit: LM Studio ships an MLX backend! Run any LLM from the Hugging Face hub on Mac blazingly fast! ⚡
• 社区实测r/LocalLLaMA on Reddit: Speed Test #2: Llama.CPP vs MLX with Llama-3.3-70B and Various Prompt Sizes
• 社区实测r/LocalLLaMA on Reddit: It been 2 years but why llama 3.1 8B still a popular choice to fine tune?
• 独立评测Apple Silicon LLM Inference Optimization: The Complete Guide to Maximum Performance
• 独立评测Local LLMs Apple Silicon Mac 2026 | M1 M2 M3 Guide
• 独立评测Meta Llama 3 Review — 8B and 70B Open-Weight Models That Redefined the Tier — ChatForest

可信度HuggingFace 10.5k下载，81点赞，mlx-community官方转换