XTTS v2 评测(2026):仅需6秒音频即可实现多语言声音克隆

XTTS v2 实际能做什么

• 几秒钟内完成声音克隆。 根据 Coqui 的官方模型卡,仅需一段 6 秒的参考音频片段即可克隆声音——无需为新声音进行微调或训练。
• 支持 17 种语言并可跨语言克隆。 支持的语言包括英语、西班牙语、法语、德语、意大利语、葡萄牙语、波兰语、土耳其语、俄语、荷兰语、捷克语、阿拉伯语、中文(zh-cn)、日语、匈牙利语、韩语和印地语——你可以用英语音频克隆一个声音,然后用同一个克隆声音以其余 16 种语言中的任意一种生成语音。
• 流式推理。 XTTS v2 支持流式合成,首个音频的延迟低于 200 毫秒,这一特性自 Coqui TTS v0.20.0 引入以来一直有文档记录——适用于等待完整音频文件渲染太慢的交互式语音应用。
• 通过 Coqui TTS 工具包运行。 运行 XTTS v2 的主要且受支持的方式是通过 Coqui TTS(pip install coqui-tts),它将其公开为 TTS("tts_models/multilingual/multi-dataset/xtts_v2")。
• 说话人嵌入复用。 除了每次传入原始参考片段外,该工具包还支持计算并复用说话人的潜在嵌入,避免在使用同一克隆声音重复合成时进行重复计算。

真实使用示例

• 参考音频质量很重要。 一段干净的 6 秒单一说话人片段(无背景噪音或音乐)产生的克隆效果,明显优于短促、嘈杂或多说话人的片段。
• 非交互式接受 CPML 是 XTTS v2 首次在无人值守环境(Docker、CI)中加载时所必需的——请在首次加载前设置 COQUI_TOS_AGREED=1。

# 安装工具包
pip install coqui-tts

# 以非交互方式接受 CPML(Docker/CI 环境中必需;否则
# 首次加载时会出现交互式提示)
export COQUI_TOS_AGREED=1

# Python API:克隆声音并生成语音
import torch
from TTS.api import TTS

device = "cuda" if torch.cuda.is_available() else "cpu"
tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2").to(device)

# 同语言克隆
tts.tts_to_file(
    text="This is a cloned voice speaking a new sentence.",
    speaker_wav="reference_voice.wav",
    language="en",
    file_path="output_en.wav",
)

# 跨语言克隆:从英语音频克隆,用西班牙语说话
tts.tts_to_file(
    text="Esta es la misma voz clonada, ahora hablando en español.",
    speaker_wav="reference_voice.wav",
    language="es",
    file_path="output_es.wav",
)

# 流式合成(首个音频延迟较低)
for chunk in tts.tts_stream(
    text="Streaming audio, chunk by chunk, for interactive use.",
    speaker_wav="reference_voice.wav",
    language="en",
):
    play_audio(chunk)

许可证与商业使用

XTTS v2 不适合的场景

• 任何没有确认许可证的商业产品。 CPML 是非商业性质的,自 2023 年 Coqui AI 关闭以来,目前没有确认存在的、有效的商业许可途径。在没有事先独立确认许可条款的情况下,不要将 XTTS v2 部署到付费产品、带广告的应用或客户交付成果中。
• 仅使用 CPU、资源受限的实时场景。 XTTS v2 确实支持低延迟流式传输,但这一性能是以 GPU 加速为前提的;仅使用 CPU 时,它明显比 Piper 这样的轻量级引擎更慢,在 Raspberry Pi 等性能有限的硬件上可能无法用于实时场景。
• 从很短或嘈杂的音频克隆声音。 虽然 6 秒是记录在案的最低要求,但嘈杂、压缩过或多说话人的参考片段所产生的克隆效果,明显比干净的单说话人录音差。
• 支持的 17 种语言以外的语言。 XTTS v2 恰好支持英语、西班牙语、法语、德语、意大利语、葡萄牙语、波兰语、土耳其语、俄语、荷兰语、捷克语、阿拉伯语、中文(zh-cn)、日语、匈牙利语、韩语和印地语——截至本文发布时,没有官方的语言扩展路线图。
• 未经同意冒充他人。 在未经本人知情或同意的情况下克隆真人的声音,会引发同意、形象权,以及潜在的欺诈或冒充问题,这些问题独立于 CPML 的非商业限制——无论许可条款如何,也无论是个人使用还是商业使用,这些问题都同样适用。

XTTS v2 的替代方案

常见问题

结论

来源

• Hugging Face 上的 XTTS v2——模型卡:语言、克隆要求和许可证参考。
• XTTS v2 LICENSE.txt——Coqui Public Model License(CPML)1.0.0 全文。
• GitHub 上的 idiap/coqui-ai-TTS——运行 XTTS v2 的积极维护工具包,附带使用文档。
• Coqui TTS 评测——PromptQuorum 对该工具包的专门评测,包括其关闭后的维护历史。
• 本地 TTS 与声音克隆许可证——本地 TTS 引擎间的完整许可证比较。

相关阅读

• Coqui TTS 评测——运行 XTTS v2 的工具包,包括 Coqui AI 关闭后的维护状态。
• 本地 TTS 与声音克隆许可证:Piper、XTTS v2、F5-TTS 和 Coqui——主要本地 TTS 引擎间的许可证深度解析。
• ElevenLabs 对比 Piper 对比 XTTS v2——为决定是否自托管的读者提供的云端与本地对比。
• Piper TTS 评测——快速、许可宽松、仅需 CPU 的本地 TTS 替代方案。
• Bark TTS 评测——表现力丰富的非语音本地 TTS 模型,同等深度的评测。