13B激活MoE，1M上下文，面向推理与代码
- 已量化
- 部署
-
- py modelscope download deepseek-ai/DeepSeek-V4-Flash
- py transformers: from_pretrained('deepseek-ai/DeepSeek-V4-Flash')
归档 / 2026-05-18
今日推荐 (7)
解禁版Qwen3.6-27B量化模型，为创意写作与代码而生
- 部署
-
- py 下载GGUF及mmproj文件，llama.cpp: ./llama-cli -m Qwen3.6-27B-Heretic.gguf --mmproj mmproj.gguf
- py ollama: 创建Modelfile指定GGUF路径，ollama create Qwen3.6-27B-Heretic -f Modelfile
无审查Gemma 4 26B GGUF，适合苹果硅本地快速推理
- 部署
-
- hf huggingface-cli download Jiunsong/supergemma4-26b-uncensored-gguf-v2 --include '*.gguf' --local-dir .
- py llama-cli -m supergemma4-26b-uncensored-fast-v2-Q4_K_M.gguf
像素空间文生图模型，基于AsymFlow，适合文字渲染与细节生成
- 部署
-
- url HF Space: https://huggingface.co/spaces/Lakonik/AsymFLUX.2-klein
- py Python: pip install lakonlab 后用 PixelFlux2KleinPipeline 加载适配器
- py 代码参考: https://github.com/Lakonik/LakonLab
多模态嵌入模型，支持文本/图像/视频/音频
- 部署
-
- pip pip install sentence-transformers && python -c "from sentence_transformers import SentenceTransformer; model = SentenceTransformer('jinaai/jina-embeddings-v5-omni-small', trust_remote_code=True)"
- pip pip install transformers && python -c "from transformers import AutoModel; model = AutoModel.from_pretrained('jinaai/jina-embeddings-v5-omni-small', trust_remote_code=True)"
- vll vllm serve jinaai/jina-embeddings-v5-omni-small --trust-remote-code --hf-overrides '{"task":"retrieval"}'
Qwen3.6 MoE GGUF 量化版，用于本地代理编程与多模态推理
- 部署
-
- py ollama run hf.co/unsloth/Qwen3.6-35B-A3B-GGUF
- py llama-cli -m Qwen3.6-35B-A3B-Q4_K_M.gguf
面向Agent编码与工具调用的9B视觉推理模型
- 部署
-
- py 下载GGUF文件，通过llama.cpp -m <model>.gguf --mmproj mmproj.gguf运行
今日观察 (6)
日语TTS，表情符号控制风格，零样本克隆
- 部署
-
- py git clone https://github.com/Aratako/Irodori-TTS
- url HF Space: https://huggingface.co/spaces/Aratako/Irodori-TTS-500M-v3-Demo
无审查的Gemma 4多模态模型，适合内容生成开发者
- 部署
-
- hf huggingface-cli download HauhauCS/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive --include "*Q4_K_M.gguf" --include "*mmproj*" --local-dir ./gemma4-unc
- py llama-cli -m ./gemma4-unc/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf --mmproj ./gemma4-unc/mmproj-Gemma-4-E4B-Uncensored-HauhauCS-Aggressive-f16.gguf --jinja -c 8192 -ngl 99
Gemma4 无审查多模态 MoE，面向创意写作与角色扮演
- 部署
-
- py llama-server -m Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced-Q4_K_P.gguf --mmproj mmproj-Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced-f16.gguf --jinja -c 32768 -ngl 99
- py LM Studio 直接搜索并加载 HauhauCS/Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced 的 GGUF
Qwen3.6-27B GGUF量化版，面向本地部署与边缘推理
- 部署
-
- py llama.cpp: ./main -m Qwen3.6-27B-Q4_K_M.gguf
- py ollama: 通过 Modelfile 导入 GGUF 后运行
Qwen3.6-27B的MTP量化版，推理速度1.5-2倍提升
- 部署
-
- py llama.cpp llama-server -hf unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q4_K_XL --spec-type draft-mtp
- py Unsloth Studio直接加载并交互
LTX2.3 微调的图生视频 GGUF 模型，用于 ComfyUI
- 部署
-
- py git clone https://github.com/TenStrip/10S-Comfy-nodes custom_nodes/
- py 下载对应 GGUF 文件放入 ComfyUI/models/video_models/
- py 依赖 SulphurAI/Sulphur-2-base 模型 (需单独下载)