GGUF مقابل GPTQ مقابل AWQ: أي تنسيق تكميم يجب أن تستخدمه؟
إجابة سريعة
استخدم GGUF للاستخدام المحلي عبر Ollama أو llama.cpp — يعمل على CPU وGPU دون متطلبات إضافية. استخدم AWQ بدلًا من GPTQ إذا كنت تقدّم في بيئة إنتاج بـ vLLM أو TGI، لأنها تحافظ على الجودة بشكل أفضل عند نفس عمق البت.
- ▸GGUF: التنسيق الأصلي لـ llama.cpp — استدلال هجين CPU+GPU، الافتراضي لـ Ollama وLM Studio.
- ▸GPTQ: مخصص لـ GPU فقط، تكميم بعد التدريب يعتمد على المعايرة — معيار مبكر للتقديم الفعال بـ4-بت.
- ▸AWQ (تكميم الأوزان الواعي بالتنشيط): مخصص لـ GPU فقط، جودة أفضل عمومًا لكل بت من GPTQ، شائع في تقديم vLLM/TGI الإنتاجي.
تحديث: 2026-07
النقاط الرئيسية
- ✓GGUF: الافتراضي الصحيح للاستخدام المحلي — يعمل على CPU وGPU عبر llama.cpp/Ollama، دون متطلب يقتصر على CUDA
- ✓GPTQ: مخصص لـ GPU فقط، معيار مبكر للتقديم بـ4-بت، لا يزال مدعومًا من ExLlama وvLLM
- ✓AWQ: مخصص لـ GPU فقط، يحافظ عمومًا على الجودة بشكل أفضل من GPTQ عند نفس عمق البت — مفضّل للتقديم الإنتاجي
- ✓إذا كنت تشغّل Ollama أو LM Studio محليًا، فأنت تريد بالتأكيد GGUF، وليس GPTQ أو AWQ
أفضل اختيار: GGUF للاستخدام المحلي، وAWQ للتقديم الإنتاجي
GGUF هو تنسيق التكميم الصحيح لأي شخص تقريبًا يشغّل نماذج محليًا عبر Ollama أو LM Studio أو llama.cpp مباشرة — يدعم استدلال CPU وGPU من نفس الملف، بما في ذلك التفريغ الجزئي إلى CPU عندما لا يستوعب النموذج بالكامل في VRAM. هذه المرونة هي بالضبط سبب أن GGUF أصبح التنسيق القياسي لأدوات LLM المحلية الاستهلاكية: يعمل سواء كان لديك بطاقة GPU قوية أو متواضعة أو لا شيء إطلاقًا.
كانت GPTQ من أوائل طرق التكميم بـ4-بت المعتمدة على نطاق واسع لاستدلال GPU الفعّال. تستخدم مجموعة بيانات معايرة لتقليل فقدان الجودة أثناء التكميم بعد التدريب، لكنها مخصصة لـ GPU فقط — لا يوجد مسار بديل جوهري لـ CPU — وقد تجاوزتها عمومًا طرق أحدث في الجودة لكل بت.
AWQ (تكميم الأوزان الواعي بالتنشيط) هو البديل الأحدث المخصص لـ GPU فقط لـ GPTQ. عبر حماية الأوزان الأكثر أهمية لمقدار التنشيط بدلًا من تكميم كل شيء بشكل موحد، تحافظ AWQ عمومًا على جودة أكبر عند نفس عمق البت. إنها خيار شائع لمكدسات التقديم الإنتاجي مثل vLLM وTGI، حيث يكون التشغيل المخصص لـ GPU فقط أمرًا مفروغًا منه أصلًا.
GGUF مقابل GPTQ مقابل AWQ بلمحة
اختر GGUF إذا كنت تشغّل Ollama أو LM Studio أو llama.cpp محليًا — إنه الوحيد من الثلاثة بدعم حقيقي لـ CPU ومرونة تفريغ جزئي. اختر GPTQ فقط إذا كنت تعمل مع خط أنابيب أو أداة موجودة (مثل إعدادات ExLlama القديمة) تتوقعه تحديدًا. اختر AWQ إذا كنت تنشر على مكدس تقديم GPU إنتاجي (vLLM، TGI) وتريد أفضل جودة لكل بت بين الخيارين المخصصين لـ GPU فقط.
تمثل الأنواع الثلاثة نفس النموذج الأساسي بدقة مخفضة — التنسيق يحدد أي الأدوات يمكنها تحميله وكيف يتعامل بسلاسة مع نقص ذاكرة GPU، وليس قدرة النموذج الأساسية.
قراءات ذات صلة
- ▸ما هو تكميم Q4_K_M؟ — مستوى التكميم الأكثر شيوعًا في GGUF موضّح
- ▸Q4_K_M مقابل Q8_0 — اختيار مستوى تكميم GGUF
- ▸Ollama مقابل vLLM مقابل TGI — أداة التقديم التي تقترن بأي تنسيق