DeepSeek-V4 视觉实验 GGUF，本地跑多模态 agent
适合本地跑 DeepSeek V4 视觉实验 / 多模态 agent 与图表问答
短板低内存设备或生产部署
未公开 · MIT · 未知 · llama.cpp需自查
证据15.3k 下载 / 70 赞
本期 (5)
Mac 可跑的 Qwen3.6-35B VQ 量化
- MLX
适合Mac 32GB 本地推理 / 英文文本与代码生成
短板对精确 token 敏感的任务
Q4 ~23GB / FP16 ~84GB · apache-2.0 · 未知 · mlx-lm需自查
证据930 下载
流式说话人归属语音转写，支持10语言与热词
适合实时会议多说话人转写 / 含专有名词的流式语音识别
短板低显存端侧离线转写
Q4 ~5.7GB / FP16 ~21GB · MIT · 未知 · transformers需自查
证据889 下载 / 110 赞
Apple Silicon VQ量化 Qwen3.6-35B-A3B
- MLX
适合Apple Silicon 本地运行 35B MoE / 低显存占用文本生成
短板对精确 token 敏感的任务
Q4 ~23GB / FP16 ~84GB · Apache-2.0 · 未知 · mlx需自查
证据1012 下载
MLX 向量量化，Apple Silicon 本地推理
- MLX
适合Apple Silicon 本地文本生成 / 低内存占用（22.2 GiB）
短板追求高精度或需要完整评测
Q4 ~23GB / FP16 ~84GB · Apache-2.0 · 未知 · mlx需自查
证据897 下载