指南 / 语音合成模型
语音合成模型
共 16 个 · 数据更新于 2026-07-10
显存档为包含式:更低显存也能跑的模型一并计入。数值取 Q4 量化后估算。
中文 TTS 开源模型怎么选(2026-07)
13 张支持中文的开源语音合成模型卡,按使用场景挑重点,不用你一张张翻。
- 综合验证最广泛/低延迟对话 Qwen3-TTS-12Hz-1.7B-CustomVoice (Qwen)
- 多语种表现力/情感可控 Higgs TTS 3 (Boson AI)
- 轻量/CPU 友好可商用 OmniVoice (k2-fsa)
- 可商用长文本/多语言克隆 MOSS-TTS-v1.5 (OpenMOSS)
| 模型 | 参数量 | 显存门槛 | 上下文 | 许可证 | 商用 | 语言 | 国内可达 | 部署 |
|---|---|---|---|---|---|---|---|---|
| Gepard-1.0 (nineninesix) 微调自 qwen3_5-full-attn-only-14 | 555M | ~0.3GB 4-bit | — | Apache 2.0 (codec: NVIDIA Open Model License) | 需自查 | 英语(美/英) · 西班牙语(墨) · 葡萄牙语(巴西) · 荷兰语 | 需代理 | vllm serve nineninesix/gepard-1.0 |
| Kokoro-82M (hexgrad) 微调自 StyleTTS2-LJSpeech | 82M | ~0.1GB 4-bit | — | apache-2.0 | 可商用 | 8 种语言 | 需代理 | pip install kokoro && python -c "from kokoro import KPipeline; KPipeline('a'); print('Kokoro loaded')" |
| Higgs TTS 3 (Boson AI) | 4B | ~2.8GB 4-bit | 8192 | boson-higgs-audio-v3-research-and-non-commercial-license | 需自查 | 100+ 语种 (含中/英/日/韩/阿拉伯等85种<5% WER) | 需代理 | sgl-omni serve --model-path bosonai/higgs-tts-3-4b --port 8000 等 3 种 |
| MOSS-TTS-Local-Transformer-v1.5 (OpenMOSS) | 4.6B | ~2.7GB 4-bit | — | Apache-2.0 | 可商用 | 31种语言 (含中·粤·英·日·韩·法·德·西等) | 魔搭可用 | python -c "from transformers import AutoModel; model = AutoModel.from_pretrained('OpenMOSS-Team/MOSS-TTS-Local-Transformer-v1.5', trust_remote_code=True)" 等 2 种 |
| Inflect-Nano-v1 (owensong) | 4.63M | ~0.1GB 4-bit | — | Apache-2.0 | 可商用 | 英文 | 需代理 | git clone https://huggingface.co/owensong/Inflect-Nano-v1 && cd Inflect-Nano-v1 && pip install -r requirements.txt && python inference.py --text 'Hello, world.' --out output.wav 等 2 种 |
| IndexTTS-2 | — | — | — | — | 需自查 | — | 魔搭可用 | 暂无已验证的一键部署命令，需参考官方GitHub仓库（https://github.com/index-tts/index-tts）手动安装 |
| ZONOS2 (Zyphra) | — | — | — | apache-2.0 | 可商用 | 英语(主)·中文(主)·日语(主) · 韩/俄/意/葡/法/西/越/德/希伯来/荷兰/瑞典等 32 语种 | 需代理 | git clone https://github.com/Zyphra/ZONOS2 && cd ZONOS2 && uv sync && uv run python -m minisgl --model-path Zyphra/ZONOS2 --tts-default-voices-dir ./default_voices/（需 NVIDIA GPU, Linux） |
| Higgs-Audio-v3-TTS-4B (Boson AI) | 4B | ~2.8GB 4-bit | 8k | Boson Research & Non-Commercial License | 需自查 | 100+语言，含中、英、日、韩、法、德等83种高质量语种 | 需代理 | sgl-omni serve --model-path bosonai/higgs-audio-v3-tts-4b 等 2 种 |
| MisoTTS-8B (MisoLabs) | 8B | ~4.9GB 4-bit | 2048 | other | 需自查 | 未声明 | 需代理 | git clone https://github.com/MisoLabsAI/MisoTTS && cd MisoTTS && pip install -r requirements.txt 等 2 种 |
| Qwen3-TTS-12Hz-1.7B-CustomVoice (Qwen) | 1.7B | ~1.2GB 4-bit | — | Apache-2.0 | 可商用 | — | 魔搭可用 | pip install qwen-tts && python -c 'from qwen_tts import Qwen3TTSModel; model=Qwen3TTSModel.from_pretrained("Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice", device_map="cuda:0")' 等 3 种 |
| MOSS-TTS-v1.5 (OpenMOSS) | 8.5B | ~5.1GB 4-bit | — | Apache-2.0 | 可商用 | — | 魔搭可用 | transformers.AutoModel.from_pretrained('OpenMOSS-Team/MOSS-TTS-v1.5') 等 2 种 |
| Irodori-TTS-500M-v3 (Aratako) 微调自 Irodori-TTS-500M-v2 | 500M | ~0.3GB 4-bit | — | MIT | 可商用 | — | 需代理 | git clone https://github.com/Aratako/Irodori-TTS |
| Dramabox (ResembleAI) 微调自 LTX-2.3 | — | — | 不适用 | other | — | — | 需代理 | snapshot_download('ResembleAI/Dramabox') 等 2 种 |
| OmniVoice (k2-fsa) 微调自 Qwen3-0.6B | 613M | ~0.4GB 4-bit | 不适用 | apache-2.0 | 可商用 | — | 需代理 | pip install omnivoice |
| scenema-audio (ScenemaAI) | — | — | — | other | — | — | 需代理 | huggingface-cli download ScenemaAI/scenema-audio 等 2 种 |
| Supertonic 3 (Supertone) | 99M | ~0.1GB 4-bit | — | OpenRAIL-M | 限制商用 | — | 需代理 | pip install supertonic |
没有同时满足所选条件的模型,试着去掉一个筛选。
常见坑
- 仅支持英语，不支持其他语言（包括德语） —— nineninesix/gepard-1.0
- 需要 GPU 运行 —— nineninesix/gepard-1.0
- 参数规模小（555M），独立使用时的通用能力（如工具调用）存疑 —— nineninesix/gepard-1.0
- 与更大模型搭配使用的最佳方式尚不明确 —— nineninesix/gepard-1.0
- 训练数据主要来自 OpenAI 和 ElevenLabs 的合成输出，存在潜在版权与许可风险 —— hexgrad/Kokoro-82M
- 对长叙事文本表现优于日常对话，对话场景下自然度可能不足 —— hexgrad/Kokoro-82M
- 需要 espeak 作为系统依赖处理 OOD 回退及部分非英语语言，增加部署复杂度 —— hexgrad/Kokoro-82M
- 最快的推理配置不一定是最佳音质，需在速度与质量之间权衡 —— hexgrad/Kokoro-82M
展开其余 47 条
- 现有托管 API 服务较少，不易找到现成的云端调用方案 —— hexgrad/Kokoro-82M
- 全精度模型需 18-20GB 显存，8GB 显卡无法运行完整模式 —— bosonai/higgs-tts-3-4b
- 8GB 显卡即使使用量化版本（QT8/QT4）也较慢，需借助 CPU 内存卸载 —— bosonai/higgs-tts-3-4b
- 长文本批量生成时可能出现缺词，需用 STT 逐条校验 —— bosonai/higgs-tts-3-4b
- 8GB 显卡无法使用声音克隆功能 —— bosonai/higgs-tts-3-4b
- 参考 Python 推理代码速度仅 RTF ~2（约 50% 实时），本地实时使用有压力 —— OpenMOSS-Team/MOSS-TTS-Local-Transformer-v1.5
- 服务化部署复杂，需处理参考音频编码、自回归生成、多码本采样与有状态解码器等多阶段流水线 —— OpenMOSS-Team/MOSS-TTS-Local-Transformer-v1.5
- 音质存在可感知的缺陷,非生产级/非 SOTA —— owensong/Inflect-Nano-v1
- 目前仅为实验性发布,作者表示若有足够关注才考虑加大训练预算做 v2 —— owensong/Inflect-Nano-v1
- License未明确（unknown），商用需自行评估风险 —— IndexTeam/IndexTTS-2
- 显存需求较高：推荐参数（如80-200）需根据显存调整，4GB可尝试但可能受限 —— IndexTeam/IndexTTS-2
- 英文及跨语言效果论文有报但社区实测稀少，中文外场景效果不保证 —— IndexTeam/IndexTTS-2
- 无原生流式支持，完整生成耗时较长，不适合实时播报 —— IndexTeam/IndexTTS-2
- 宣传的精确时长控制功能实际未支持,与此前宣传不符 —— IndexTeam/IndexTTS-2
- 仅支持英文和中文输出,覆盖语种有限 —— IndexTeam/IndexTTS-2
- 目前仅限非商业用途免费,商业使用需单独授权 —— IndexTeam/IndexTTS-2
- 存在高频噪声，音质并非顶级，手机外放勉强可用 —— Zyphra/ZONOS2
- 生成不稳定，偶尔出现 bloopers，beta 阶段可靠性不足 —— Zyphra/ZONOS2
- 仅限研究与非商业用途（Boson Higgs Audio v3 Research and Non-Commercial License） —— bosonai/higgs-audio-v3-tts-4b
- 旧版仓库已废弃，文档分散在模型卡与 SGLang 使用指南中 —— bosonai/higgs-audio-v3-tts-4b
- 短文本也会出现幻觉/乱读，需通过减少大写等方式缓解但无法根除 —— MisoLabs/MisoTTS
- 合成一致性不足，同一段话容易出现偏离 —— MisoLabs/MisoTTS
- 作为 8B 参数模型，实际表现让人觉得训练不充分 —— MisoLabs/MisoTTS
- 推理速度偏慢，有用户反馈生成速度低 —— Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice
- GPU 利用率仅约 12%，存在优化空间 —— Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice
- 与 VibeVoice 相比表达力偏平淡/单调 —— Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice
- VoiceDesign 模型设计的语音难以在下一次生成中保留复用 —— Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice
- 社区反馈缺少阿拉伯语、越南语、荷兰语、罗马尼亚语、粤语等语言支持 —— Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice
- 社区 faster 版本在 PyTorch ≤2.5.0 上 CUDA graph 捕获不可靠 —— Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice
- 不指定语言标签时，部分语言质量可能相比 1.0 版本回退 —— OpenMOSS-Team/MOSS-TTS-v1.5
- 生成质量对部署配置敏感，需调优才能达到最佳效果 —— OpenMOSS-Team/MOSS-TTS-v1.5
- 使用 whisper 音频做参考时，因 emoji 标注的 conditioning 方式可能导致参考音复现度偏低 —— Aratako/Irodori-TTS-500M-v3
- 实际推理需要 CUDA 或 ROCm GPU，纯 CPU 不实用 —— Aratako/Irodori-TTS-500M-v3
- 基础模型 LTX-2.3 音频分支仅训练在 ≤~20 秒片段上,长文本生成可能受限 —— ResembleAI/Dramabox
- LTX-2 Community License 存在商业使用门槛(如 10M 下载量限制) —— ResembleAI/Dramabox
- 克隆效果依赖参考音频质量,差音频会导致输出劣化 —— ResembleAI/Dramabox
- PyTorch 版本在 CPU 上推理较慢，尚无 ONNX/GGML 版本 —— k2-fsa/OmniVoice
- Qwen3-TTS 的输出在一致性和部分场景下仍优于 OmniVoice —— k2-fsa/OmniVoice
- Voice Design 功能稳定性不如 Voice Clone —— k2-fsa/OmniVoice
- Voice Clone 虽稳定但参数调优难度更高 —— k2-fsa/OmniVoice
- HuggingFace 部署未暴露 temperature 等控制参数，影响对比测试 —— k2-fsa/OmniVoice
- 对非语言内容（如语气停顿）更敏感，容易产生不理想输出 —— k2-fsa/OmniVoice
- 开发者自述 ID-LORA 方案质量很差 —— ScenemaAI/scenema-audio
- 模型文件较大（全精度约 9.8GB，INT8 约 4.9GB） —— ScenemaAI/scenema-audio
- 是扩散模型而非传统 TTS 管线，开发者提及存在常见问题但未具体列出 —— ScenemaAI/scenema-audio
- 快模式（fast mode）被社区评价为「快但差」 —— Supertone/supertonic-3
- 质量模式（quality mode）清晰可懂但仍略带合成感 —— Supertone/supertonic-3