ما هي أفضل أداة لقياس الأداء (tokens/sec) في نماذج LLM المحلية؟
تحتوي هذه الصفحة على روابط مرجعية لمنتجات طرف ثالث. لا يشارك PromptQuorum في أي برنامج تابع — هذه روابط عادية لا تدر أي عمولة. النقر على الروابط والخطوات التالية تقع على عاتقك بالكامل. لا تمثل هذه الروابط أي تأييد أو تحقق من قِبَل PromptQuorum.
إجابة سريعة
أداة llama-bench، المرفقة مع llama.cpp، هي أفضل أداة لقياس سرعة الاستدلال في نموذج LLM محلي. تُبلغ عن سرعة معالجة الـ prompt وسرعة التوليد بشكل منفصل ضمن طول سياق ومستوى quantization ثابتين، مما يجعل النتائج قابلة للمقارنة بين أجهزة مختلفة.
- ▸llama-bench: الخيار الأكثر صرامة — يفصل سرعة معالجة الـ prompt عن سرعة التوليد، ويتحكم في طول السياق ومستوى الـ quantization.
- ▸Ollama --verbose: أسرع طريقة للحصول على رقم تقريبي لعدد tokens في الثانية من جلسة محادثة عادية، لكنه أقل تحكمًا من llama-bench.
- ▸واجهات الطرف الثالث (مثل الإحصاءات المدمجة في LM Studio) مريحة لقراءة سريعة لكنها لا توفر نفس مستوى التحكم بين التشغيلات المتكررة.
تحديث: ١٤ يوليو ٢٠٢٦
النقاط الرئيسية
- ✓llama-bench هي أداة قياس الأداء الأكثر صرامة — تفصل سرعة معالجة الـ prompt عن سرعة التوليد ضمن إعدادات ثابتة
- ✓خيار --verbose في Ollama يمنح تقديرًا سريعًا وتقريبيًا لعدد tokens في الثانية من تشغيل محادثة عادي، مفيد للفحوصات السريعة
- ✓يجب دائمًا تثبيت طول السياق ومستوى quantization بين التشغيلات، وإلا فإن المقارنة تصبح بلا معنى
- ✓شغّل عدة تكرارات واحسب متوسط النتيجة — التشغيل الواحد يتأثر بالتقييد الحراري (thermal throttling) والتحميل البارد (cold start)
الخيار الأفضل: llama-bench
llama-bench هو الخيار الافتراضي الصحيح لكل من يحتاج إلى رقم tokens في الثانية قابل للتكرار ويمكن مقارنته بين الأجهزة. يأتي كجزء من بنية llama.cpp، ويعمل من سطر الأوامر، ويُبلغ عن رقمين منفصلين لكل اختبار: سرعة معالجة الـ prompt (مدى سرعة قراءة النموذج للمُدخل) وسرعة التوليد (مدى سرعة إنتاجه لـ tokens جديدة). يتصرف هذان الرقمان بشكل مختلف تمامًا تحت الحمل، لذا فإن أي أداة تخلط بينهما لا تعطيك الصورة الكاملة.
خيار `--verbose` في Ollama هو البديل العملي لإجراء فحص سريع. تشغيل `ollama run
يعرض LM Studio وواجهات سطح المكتب الأخرى قراءة مباشرة مشابهة لعدد tokens في الثانية داخل واجهة المحادثة. استخدمها للتحقق السريع بالعين أثناء استخدامك للأداة أصلًا، لكن لا تعتمد عليها لاتخاذ قرار شراء عتاد — فهي لا تكشف عناصر التحكم في عدد التشغيلات أو طول السياق التي تجعل نتيجة القياس موثوقة.
ما الذي يجب البحث عنه في أداة قياس الأداء
أداة قياس الأداء الموثوقة لنماذج LLM المحلية تُبقي طول السياق ومستوى quantization ومحتوى الـ prompt ثابتين بين التشغيلات، وتُبلغ عن سرعة معالجة الـ prompt وسرعة توليد tokens كرقمين منفصلين. بدون هذه الضوابط، فإن رقم "tokens في الثانية" من تشغيل واحد لا يخبرك بشيء يُذكر عن كيفية أداء الإعداد نفسه مع prompt أطول أو quantization مختلف.
استخدم أداة قياس الأداء إذا كنت تقارن بطاقات GPU قبل الشراء، أو تُقيّم ما إذا كان مستوى quantization يستحق التنازل عن الجودة، أو تُبلغ عن أرقام الأداء علنًا. تخطَّ القياس الرسمي واكتفِ بمراقبة عداد tokens في الثانية المباشر إذا كنت تريد فقط انطباعًا تقريبيًا عن مدى صلاحية نموذج ما للمحادثة.
تجنّب: أرقام تشغيل واحد تُذكر دون طول سياق أو مستوى quantization مرفق — فهي غير قابلة للمقارنة بأي شيء. تجنّب: الأدوات التي تُبلغ عن رقم tokens في الثانية مُجمّع واحد فقط، لأن سرعة معالجة الـ prompt وسرعة التوليد تتغيران بشكل مختلف مع طول السياق والعتاد.
الأجهزة المناسبة لعملية القياس
إذا كنت تقيس الأداء بهدف تحديد ما إذا كنت ستُرقّي عتادك، شغّل أمر llama-bench نفسه على بطاقة GPU الحالية وعلى البطاقة المرشحة باستخدام ملف النموذج ومستوى quantization نفسه، ثم قارن رقمي معالجة الـ prompt والتوليد جنبًا إلى جنب.
إفصاح: يحتوي هذا المقال على روابط تابعة (affiliate). قد نحصل على عمولة إذا اشتريت عبر هذه الروابط، دون أي تكلفة إضافية عليك.