مراجعة StyleTTS 2 (2026): نموذج بحثي من جامعة كولومبيا برخصة MIT لصوت طبيعي

التاريخ: مشروع بحثي من كولومبيا

ما الذي يفعله StyleTTS 2 فعليًا

• انتشار الأسلوب لتنغيم طبيعي. بدلًا من التنبؤ بتمثيل أسلوب ثابت واحد من النص، يأخذ StyleTTS 2 عينة، عبر الانتشار، من توزيع احتمالي مُتعلَّم للأساليب، وهو ما يُنتج، وفقًا للورقة البحثية، تباينًا أكثر طبيعية في النبرة والإيقاع والتشديد مقارنة بالأساليب الحتمية.
• التدريب التنافسي ضد نماذج لغوية صوتية. تضع عملية التدريب نموذج TTS في مواجهة نماذج لغوية صوتية كبيرة مُدرَّبة مسبقًا تعمل كمُميِّزات، وهي تقنية تُنسب إليها الورقة البحثية سد الفجوة المتبقية مع جودة التسجيل البشري في معيار LJSpeech.
• نقطتا تحقق مُدرَّبتان مسبقًا صادرتان رسميًا. StyleTTS2-LJSpeech (متحدث إنجليزي واحد، 24 كيلوهرتز) وStyleTTS2-LibriTTS (متعدد المتحدثين بالإنجليزية) كلاهما مُستضاف على Hugging Face.
• نقل أسلوب بدون أمثلة سابقة من صوت مرجعي. يمكن لنقطة التحقق متعددة المتحدثين من LibriTTS تركيب نص جديد بأسلوب مُلتقَط من مقطع صوتي مرجعي — يصف توثيق المشروع نفسه وأدلة طرف ثالث حدًا أدنى من 5 إلى 10 ثوانٍ، مع التوصية بـ15 إلى 30 ثانية من صوت مرجعي نظيف لمتحدث واحد للحصول على جرس صوت وتنغيم ونطق دقيق.
• نقاط تحقق مُدرَّبة مسبقًا بالإنجليزية بشكل أساسي، مع بعض العمل التأسيسي متعدد اللغات. تُدرَّب نقاط التحقق الصادرة رسميًا على مجموعات بيانات إنجليزية (LJSpeech وLibriTTS). تُشير الورقة البحثية إلى أن مكوّن محاذاة النص دُرِّب مسبقًا أيضًا على مجموعات بيانات يابانية (JVS) وصينية (AiShell) و"يعمل بشكل جيد لمعظم اللغات الأخرى دون ضبط دقيق"، وتشير إلى نموذج PL-BERT متعدد اللغات يغطي 14 لغة كنقطة انطلاق لتدريب نموذج StyleTTS 2 غير إنجليزي بنفسك — لكن لا توجد نقطة تحقق غير إنجليزية صادرة رسميًا وجاهزة للاستخدام.

تثبيت وتشغيل StyleTTS 2: خطوة بخطوة

1. 1
   استنساخ المستودع وتثبيت التبعيات.
   Why it matters: نفّذ `git clone https://github.com/yl4579/StyleTTS2.git && cd StyleTTS2 && pip install -r requirements.txt`. يؤدي هذا إلى تثبيت تبعيات Python الأساسية المُدرجة في ملف المتطلبات الخاص بالمشروع.
2. 2
   تثبيت مُحوِّل الأصوات وespeak-ng.
   Why it matters: نفّذ `pip install phonemizer`، وعلى Linux `sudo apt-get install espeak-ng` (أو ما يعادله لنظام تشغيلك). لاحظ أن espeak-ng نفسها مرخّصة بموجب GPL-3.0 — راجع قسم الترخيص والتكلفة لمعرفة سبب أهمية ذلك لمسار الاستدلال، وليس فقط لشيفرة StyleTTS 2 نفسها.
3. 3
   تنزيل نقطة تحقق مُدرَّبة مسبقًا.
   Why it matters: نزِّل [StyleTTS2-LJSpeech](https://huggingface.co/yl4579/StyleTTS2-LJSpeech/tree/main) (متحدث واحد) أو [StyleTTS2-LibriTTS](https://huggingface.co/yl4579/StyleTTS2-LibriTTS/tree/main) (متعدد المتحدثين، يدعم نقل الأسلوب) من Hugging Face إلى مجلد المشروع.
4. 4
   تشغيل الاستدلال عبر دفاتر Jupyter المُوفَّرة.
   Why it matters: يأتي المشروع مع `Demo/Inference_LJSpeech.ipynb` و`Demo/Inference_LibriTTS.ipynb` — افتح الدفتر المطابق لنقطة التحقق التي نزّلتها في Jupyter لتحميل النموذج وتركيب أول عيّنة لك.
5. 5
   (بديل) استخدام حزمة pip المجتمعية لسلسلة تثبيت أبسط ومقتصرة على MIT.
   Why it matters: نفّذ `pip install styletts2`، ثم `from styletts2 import tts; my_tts = tts.StyleTTS2(); my_tts.inference("مرحبًا.", output_wav_file="test.wav")`. تستخدم هذه الحزمة من طرف ثالث (آخر إصدار في 11 يناير 2024) مكتبة gruut المرخّصة بموجب MIT بدلًا من espeak-ng، متجنبةً تبعية GPL-3.0 — على حساب الاعتماد على غلاف غير رسمي خامل هو الآخر.
6. 6
   (اختياري) توفير مقطع مرجعي لنقل الأسلوب.
   Why it matters: مع نقطة تحقق LibriTTS، مرّر وسيطًا `target_voice_path` (الحزمة المجتمعية) أو المعامل المكافئ للصوت المرجعي (الدفتر الرسمي) يشير إلى ملف WAV نظيف لمتحدث واحد مدته 15 إلى 30 ثانية، لتركيب نص جديد بذلك الأسلوب المُلتقَط.

أمثلة استخدام حقيقية

• جودة الصوت المرجعي مهمة لنقل الأسلوب. ينتج مقطع نظيف لمتحدث واحد مدته 15 إلى 30 ثانية نقل أسلوب أفضل بشكل ملحوظ من مرجع قصير أو صاخب أو متعدد المتحدثين.
• توجد سلسلتا تبعيات منفصلتان. يجلب مسار الدفاتر الخاص بالمستودع الرسمي espeak-ng المرخّصة بموجب GPL-3.0؛ وتتجنب حزمة pip المجتمعية ذلك باستخدام gruut بدلًا منها — اختر السلسلة التي تناسب متطلبات الترخيص لديك قبل بناء أدوات حول أي منهما.

# المسار الأبسط: حزمة pip مجتمعية (سلسلة تبعيات مقتصرة على MIT،
# آخر إصدار 2024-01-11 — تحقق من أنها لا تزال تعمل قبل الاعتماد عليها)
pip install styletts2

from styletts2 import tts

my_tts = tts.StyleTTS2()
my_tts.inference(
    "Hello there, this is a natural-sounding synthesized sentence.",
    output_wav_file="test.wav",
)

# نقل أسلوب بدون أمثلة سابقة من مقطع مرجعي (نقطة تحقق من نوع LibriTTS)
my_tts.inference(
    "The same text, now spoken in a captured reference style.",
    target_voice_path="reference_voice.wav",
    output_wav_file="styled_test.wav",
)

# مسار نقطة تحقق وإعدادات مخصص
custom_tts = tts.StyleTTS2(
    model_checkpoint_path="/path/to/epochs_2nd_00020.pth",
    config_path="/path/to/config.yml",
)

# --- مسار المستودع الرسمي (يتطلب espeak-ng، GPL-3.0) ---
# git clone https://github.com/yl4579/StyleTTS2.git
# cd StyleTTS2 && pip install -r requirements.txt
# pip install phonemizer && sudo apt-get install espeak-ng
# ثم افتح Demo/Inference_LJSpeech.ipynb أو Demo/Inference_LibriTTS.ipynb
# في Jupyter وشغّل الخلايا المُوفَّرة مع نقطة التحقق التي نزّلتها.

الترخيص والتكلفة

ما لا يصلح له StyleTTS 2

• القراء الذين يريدون تجربة بسيطة من نوع التثبيت عبر pip والانطلاق مباشرة. على عكس Piper، الذي لا يبعد سوى pip install piper-tts وأمر CLI واحد عن الحصول على صوت يعمل، يتضمن المسار الرسمي لـStyleTTS 2 استنساخ مستودع بحثي، وتثبيت مُحوِّل أصوات، وتبعية espeak-ng على مستوى النظام، وتشغيل دفاتر Jupyter — حاجز إعداد أعلى بشكل ملحوظ.
• النشر في بيئة الإنتاج دون جهد هندسي في تعلم الآلة. لا يوجد وضع خادم ويب تحت صيانة، ولا صورة Docker رسمية، ولا شركة تدعم استمرارية الدعم. يجب على أي شخص ينشر StyleTTS 2 في بيئة الإنتاج أن يتوقع كتابة طبقة تقديم خاصة به وصيانتها حول الشيفرة البحثية.
• ضمان إصلاح الأخطاء أو تحديثات الميزات المستمرة. بدون التزامات في المستودع الرسمي منذ 7 مارس 2024، وبآخر إصدار لحزمة pip المجتمعية بتاريخ 11 يناير 2024، لا تفترض صيانة نشطة لأي من سلسلتي التبعيات — ضع في حسبانك احتمال أن تكون وحدك في مواجهة أي مشكلة تصادفها.
• كلام جاهز للاستخدام بلغة غير الإنجليزية. نقاط التحقق المُدرَّبة مسبقًا الصادرة رسميًا هي بالإنجليزية فقط (LJSpeech وLibriTTS). تدريب نموذج غير إنجليزي بنفسك ممكن معماريًا وفقًا لملاحظات الورقة البحثية حول محاذي النص متعدد اللغات وPL-BERT، لكنه يتطلب تدريبًا خاصًا بك — لا توجد نقطة تحقق غير إنجليزية قابلة للتنزيل من المشروع.
• منح ترخيص واحد لا لبس فيه لكل ما تُنزّله. لأن الشيفرة (MIT) والأوزان المُدرَّبة مسبقًا (MIT مع شرط إفصاح في README) تخضعان لأحكام مختلفة قليلًا، ولأن مسار الاستدلال الرسمي يجلب تبعية GPL-3.0، لا يقدم StyleTTS 2 قصة الترخيص الواحدة البسيطة التي يمتلكها مشروع مثل Bark (MIT بالكامل، دون شروط إضافية).

بدائل StyleTTS 2

الأسئلة الشائعة

الخلاصة

المصادر

• StyleTTS 2 على GitHub — المستودع الرسمي: README، وLICENSE، وتعليمات التثبيت، وسجل الالتزامات.
• ورقة StyleTTS 2 البحثية (arXiv) — "Towards Human-Level Text-to-Speech through Style Diffusion and Adversarial Training with Large Speech Language Models"، ورقة NeurIPS 2023.
• مشكلة GitHub رقم 37: Possibly misleading license info — التناقض الذي أشار إليه المجتمع بين ملف رخصة MIT وشرط الإفصاح عن استخدام النموذج في README.
• styletts2 على PyPI — حزمة pip يديرها المجتمع (Sidharth Rajaram)، الإصدار 0.1.6، الصادر في 11 يناير 2024.
• StyleTTS2-LJSpeech وStyleTTS2-LibriTTS على Hugging Face — نقاط التحقق المُدرَّبة مسبقًا الرسمية.
• تراخيص TTS المحلية واستنساخ الصوت — مقارنة كاملة للتراخيص بين محركات TTS المحلية.

قراءات ذات صلة

• مراجعة XTTS v2 — استنساخ صوت مُغلَّف من 6 ثوانٍ من الصوت المرجعي، برخصة غير تجارية.
• مراجعة Bark TTS — نموذج الصوت التعبيري غير الكلامي برخصة MIT واحدة لا لبس فيها.
• مراجعة Piper TTS — البديل المحلي السريع وسهل التثبيت لتحويل النص إلى كلام على CPU فقط.
• مراجعة Coqui TTS — مجموعة الأدوات المرنة متعددة الواجهات الخلفية وفرعها تحت صيانة المجتمع.
• تراخيص TTS المحلية واستنساخ الصوت: Piper وXTTS v2 وF5-TTS وCoqui — التحليل المعمّق للتراخيص عبر محركات TTS المحلية الرئيسية.
• ElevenLabs مقابل Piper مقابل XTTS v2 — مقارنة السحابة مقابل المحلي للقراء الذين يقررون ما إذا كانوا سيستضيفون بأنفسهم.