XTTS v2 리뷰(2026): 단 6초의 오디오로 만드는 다국어 음성 클로닝

XTTS v2가 실제로 하는 일

• 몇 초 만에 완료되는 음성 클로닝. Coqui의 공식 모델 카드에 따르면, 단 하나의 6초짜리 참조 오디오 클립만으로 목소리를 복제할 수 있으며, 새로운 목소리를 위한 미세 조정이나 학습 과정이 필요하지 않다.
• 언어 간 클로닝을 지원하는 17개 언어. 지원 언어는 영어, 스페인어, 프랑스어, 독일어, 이탈리아어, 포르투갈어, 폴란드어, 터키어, 러시아어, 네덜란드어, 체코어, 아랍어, 중국어(zh-cn), 일본어, 헝가리어, 한국어, 힌디어이다 — 영어 오디오로 목소리를 복제한 뒤, 동일한 복제 목소리로 나머지 16개 언어 중 어느 것으로든 음성을 생성할 수 있다.
• 스트리밍 추론. XTTS v2는 첫 오디오까지 200밀리초 미만의 지연 시간으로 스트리밍 합성을 지원하며, 이 기능은 Coqui TTS v0.20.0에 도입된 이래 문서화되어 있다 — 완전한 오디오 파일 렌더링을 기다리기에는 너무 느린 대화형 음성 애플리케이션에 유용하다.
• Coqui TTS 툴킷을 통한 실행. XTTS v2를 실행하는 주요하고 지원되는 방법은 Coqui TTS(pip install coqui-tts)를 통하는 것이며, 이는 TTS("tts_models/multilingual/multi-dataset/xtts_v2")로 노출된다.
• 화자 임베딩 재사용. 매번 원본 참조 클립을 전달하는 것 외에도, 이 툴킷은 화자의 잠재 임베딩을 계산하고 재사용하는 것을 지원해, 동일한 복제 목소리로 반복 합성할 때 재계산을 피할 수 있다.

실제 사용 예시

• 참조 오디오 품질이 중요합니다. 배경 소음이나 음악이 없는 단일 화자의 깨끗한 6초 클립은 짧거나, 시끄럽거나, 여러 화자가 섞인 클립보다 눈에 띄게 더 나은 클론을 만들어낸다.
• 비대화형 CPML 동의는 무인 환경(Docker, CI)에서 XTTS v2가 처음 로드될 때 필요합니다 — 첫 로드 전에 COQUI_TOS_AGREED=1을 설정하세요.

# 툴킷 설치
pip install coqui-tts

# CPML을 비대화형으로 동의(Docker/CI에서 필수; 그렇지 않으면
# 첫 로드 시 대화형 프롬프트가 나타남)
export COQUI_TOS_AGREED=1

# Python API: 목소리 복제 및 음성 생성
import torch
from TTS.api import TTS

device = "cuda" if torch.cuda.is_available() else "cpu"
tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2").to(device)

# 동일 언어 클로닝
tts.tts_to_file(
    text="This is a cloned voice speaking a new sentence.",
    speaker_wav="reference_voice.wav",
    language="en",
    file_path="output_en.wav",
)

# 언어 간 클로닝: 영어 오디오로 복제 후 스페인어로 말하기
tts.tts_to_file(
    text="Esta es la misma voz clonada, ahora hablando en español.",
    speaker_wav="reference_voice.wav",
    language="es",
    file_path="output_es.wav",
)

# 스트리밍 합성(첫 오디오까지 낮은 지연 시간)
for chunk in tts.tts_stream(
    text="Streaming audio, chunk by chunk, for interactive use.",
    speaker_wav="reference_voice.wav",
    language="en",
):
    play_audio(chunk)

라이선스와 상업적 사용

XTTS v2가 적합하지 않은 경우

• 확인된 라이선스가 없는 모든 상업용 제품. CPML은 비상업용이며, 2023년 Coqui AI가 폐업한 이후 확인되고 활성화된 상업용 라이선스 경로는 현재 존재하지 않는다. 라이선스 조건을 먼저 독립적으로 확인하지 않은 채 유료 제품, 광고 기반 앱, 클라이언트 납품물에 XTTS v2를 출시하지 마세요.
• CPU만 사용하는, 리소스가 제한된 실시간 사용. XTTS v2는 저지연 스트리밍을 지원하지만, 그 성능은 GPU 가속을 전제로 합니다. CPU만 사용할 경우 Piper 같은 경량 엔진보다 눈에 띄게 느리며, Raspberry Pi 같은 보급형 하드웨어에서의 실시간 사용에는 실용적이지 않을 수 있습니다.
• 매우 짧거나 시끄러운 오디오로부터의 음성 클로닝. 6초가 문서화된 최소 요구치이긴 하지만, 시끄럽거나 압축되었거나 여러 화자가 섞인 참조 클립은 깨끗한 단일 화자 녹음보다 눈에 띄게 나쁜 클론을 만들어냅니다.
• 지원되는 17개 언어 이외의 언어. XTTS v2는 정확히 영어, 스페인어, 프랑스어, 독일어, 이탈리아어, 포르투갈어, 폴란드어, 터키어, 러시아어, 네덜란드어, 체코어, 아랍어, 중국어(zh-cn), 일본어, 헝가리어, 한국어, 힌디어만 지원하며, 본 게시물 발행 시점 기준으로 추가 언어에 대한 공식 로드맵은 없습니다.
• 동의 없이 누군가를 사칭하는 것. 실제 인물의 목소리를 본인의 인지나 동의 없이 복제하는 것은 CPML의 비상업용 제한과는 별개로 동의, 퍼블리시티권, 그리고 잠재적으로 사기나 사칭과 관련된 문제를 야기합니다 — 이는 라이선스 조건과 무관하게, 개인 및 상업적 사용 모두에 동일하게 적용됩니다.

XTTS v2의 대안

자주 묻는 질문

결론

출처

• Hugging Face의 XTTS v2 — 모델 카드: 언어, 클로닝 요구 사항, 라이선스 참조.
• XTTS v2 LICENSE.txt — Coqui Public Model License(CPML) 1.0.0 전문.
• GitHub의 idiap/coqui-ai-TTS — XTTS v2를 실행하는, 활발히 유지 관리되는 툴킷과 사용 문서.
• Coqui TTS 리뷰 — 폐업 이후 유지 관리 이력을 포함한, PromptQuorum의 툴킷 전용 리뷰.
• 로컬 TTS 및 음성 클로닝 라이선스 — 로컬 TTS 엔진 전반의 완전한 라이선스 비교.

관련 읽을거리

• Coqui TTS 리뷰 — XTTS v2를 실행하는 툴킷으로, Coqui AI 폐업 이후의 유지 관리 상태를 포함합니다.
• 로컬 TTS 및 음성 클로닝 라이선스: Piper, XTTS v2, F5-TTS, Coqui — 주요 로컬 TTS 엔진 전반의 라이선스 심층 분석.
• ElevenLabs 대 Piper 대 XTTS v2 — 자체 호스팅 여부를 결정하려는 독자를 위한 클라우드 대 로컬 비교.
• Piper TTS 리뷰 — 빠르고, 관대한 라이선스의, CPU 전용 로컬 TTS 대안.
• Bark TTS 리뷰 — 표현력이 풍부한 비언어 오디오 로컬 TTS 모델로, 동일한 깊이로 리뷰되었습니다.