النقاط الرئيسية
- النشر الطرفي يُحسِّن الجول لكل رمز مقابل نقطة تصميم حرارية — لا عدد الرموز في الثانية مقابل VRAM، مقياس سطح المكتب.
- نموذج 1.5B بمعدل 9.45 رمزاً/ثانية ضمن 2.1 واط (Hailo-10H، وفقاً لبيانات منشورة من Hailo) نتيجة قوية في التطبيق المدمج رغم أنها كانت ستكون ضعيفة على سطح المكتب.
- أربع فئات من العتاد تغطي معظم المنتجات: لوحة SBC + وحدة NPU إضافية، مسرّع M.2 مخصص، شريحة SoC طرفية متكاملة، ووحدة GPU مدمجة — تُطابق ميزانية الطاقة لا حجم النموذج الخام.
- يقدّم NVIDIA Jetson AGX Thor (T5000)، وفقاً لورقة بيانات NVIDIA، 2,070 تيرافلوبس FP4 متناثر بقدرة 40–130 واط مع 128 غيغابايت LPDDR5X بسرعة 273 غيغابايت/ثانية — أعلى فئة GPU مدمجة.
- عرض النطاق الترددي للذاكرة، لا سعتها، هو ما يحدد سرعة توليد الرموز — لوحة بذاكرة DRAM أكبر بنفس السرعة لا تولّد رموزاً أسرع.
- يجب تأكيد نطاق درجة الحرارة الصناعي ودورة حياة الشريحة قبل اختيار النموذج، لا بعده — شريحة بدورة حياة 3 سنوات لا يمكن استخدامها في منتج بعمر خدمة 10 سنوات.
- تقبل العديد من سلاسل أدوات NPU مجموعة ثابتة فقط من مخططات التكميم، لذا يجب أن تحدد قيود مترجم العتاد المستهدف خطة التكميم، لا العكس.
ما هي الفئات الأربع لعتاد الذكاء الاصطناعي الطرفي؟
أربع فئات من العتاد تغطي تقريباً كل عمليات نشر نماذج اللغة الطرفية، واختيار الفئة الخاطئة يكلف وقتاً هندسياً أكثر من اختيار النموذج الخاطئ. تقع كل فئة عند نقطة مختلفة على منحنى الطاقة مقابل المرونة. مطابقة الفئة مع ميزانية طاقة المنتج ومتطلبات عمر الخدمة تأتي قبل مقارنة الشرائح الفردية داخل تلك الفئة.
📍 في جملة واحدة
ينقسم عتاد الذكاء الاصطناعي الطرفي إلى أربع فئات — لوحة SBC + وحدة NPU إضافية، مسرّع M.2 مخصص، شريحة SoC طرفية متكاملة، ووحدة GPU مدمجة — تُطابق ميزانية طاقة المنتج لا حجم النموذج الخام.
💬 بعبارات بسيطة
لوحة SBC + وحدة NPU إضافية رخيصة ومرنة لكنها تسخن داخل هيكل مغلق. المسرّع M.2 المخصص ينفّذ مهمة واحدة بطاقة منخفضة جداً. الشريحة المتكاملة حاسوب كامل على شريحة واحدة مصمم للروبوتات والكاميرات. وحدة GPU المدمجة تضغط أداء بمستوى سطح المكتب في حجم منتج.
- لوحة SBC + وحدة NPU إضافية — حاسوب أحادي اللوحة عام الغرض (من فئة Raspberry Pi 5) مقترن ببطاقة تسريع NPU إضافية. أقل تكلفة لقائمة المكونات، أكثر حزم البرمجيات مرونة، وأضعف أداء حراري مستدام عند إغلاقه داخل هيكل بلا تدفق هواء.
- وحدة مسرّع مخصصة (M.2) — شريحة استدلال ثابتة الوظيفة مثل Hailo-10H، تُضاف إلى لوحة حاملة قائمة عبر منفذ M.2/PCIe. تنفّذ مهمة واحدة — الاستدلال المُكمَّم — بطاقة منخفضة جداً؛ ليست منصة حوسبة عامة ولا يمكنها تشغيل نظام تشغيل.
- شريحة SoC طرفية متكاملة — شريحة واحدة تجمع CPU وGPU أو NPU ومنافذ الإدخال والإخراج على قالب واحد، مصممة لغلاف طاقة محدد. عائلة NVIDIA Jetson Orin (Orin Nano Super وOrin NX وAGX Orin) وRockchip RK3588 هي الخيار الافتراضي لمنتجات الروبوتات والكاميرات بأحجام إنتاج كبيرة.
- وحدة GPU مدمجة — بطاقة GPU من الفئة المنفصلة مصغّرة إلى شكل وحدة لأعلى مستوى من الحوسبة الطرفية، مثل NVIDIA Jetson AGX Thor (T5000). تُستخدم عندما يحتاج المنتج فعلاً إلى إنتاجية بمستوى سطح المكتب — الإدراك متعدد الكاميرات، الروبوتات شبيهة الإنسان — ضمن ميزانية طاقة وحرارة مدمجة.
ما هي القيود الثلاثة التي تتجاهلها أدلة عتاد سطح المكتب؟
أدلة نماذج اللغة المحلية لسطح المكتب تُحسِّن سعة VRAM وذروة الرموز في الثانية؛ أما المنتجات المدمجة فتخضع لثلاثة قيود مختلفة لا يحتاج أي اختبار قياس على سطح المكتب لمراعاتها أبداً.
- نقطة التصميم الحراري، لا المواصفة القصوى. رقم TOPS المذكور في ورقة البيانات يفترض عادةً تدفق هواء لا يتوفر في معظم الهياكل المغلقة بلا مروحة. المهم هو الإنتاجية المستدامة عند درجة حرارة محيطة 70°م داخل الهيكل الفعلي — تحت التقييد الحراري، قد تقع الإنتاجية الفعلية دون ذروة ورقة البيانات بكثير.
- عرض النطاق الترددي للذاكرة، لا سعتها، هو ما يحدد سرعة التوليد. توليد الرموز (مرحلة فك الترميز) محدود بعرض النطاق الترددي: تُقيَّد إنتاجية فك الترميز تقريباً بعرض النطاق الترددي للذاكرة بالغيغابايت/ثانية مقسوماً على البايتات المقروءة لكل رمز. لوحة بذاكرة DRAM أكبر لكن بنفس عرض النطاق الترددي لا تولّد رموزاً أسرع — لهذا فإن بصمة ذاكرة Hailo-10H البالغة 1.2 غيغابايت وذاكرة التخزين المؤقت KV بحجم 2,048 رمزاً عند متوسط طاقة 2.1 واط تمثّل نقطة تصميم مختلفة تماماً عن هامش VRAM لبطاقة GPU سطح مكتب.
- نطاق درجة الحرارة الصناعي ودورة حياة الشريحة، لا جداول القياس. تُوَرَّد شرائح SoC الاستهلاكية عادةً ضمن دورات تصميم مدتها 2–3 سنوات. المنتج الملتزم بعمر خدمة 10 سنوات يحتاج إلى شريحة بالتزام توريد مطابق ونطاق تشغيل موسّع — فشريحة لا يمكن توريدها بعد السنة الرابعة تفرض إعادة تصميم للعتاد في منتصف عمر المنتج، بغض النظر عن مدى جودة تشغيلها للنموذج المستهدف في اليوم الأول.
كيف تُحدِّد الحوسبة الطرفية لمنتج؟
حدِّد ميزانية الطاقة ومتطلب عمر الخدمة قبل تقييم أي شريحة محددة. تتبع الخطوات أدناه الترتيب الذي يتجنّب أكثر أشكال إعادة العمل شيوعاً: اختيار نموذج أولاً، ثم اكتشاف أنه لا يناسب ميزانية الطاقة أو دورة الحياة.
- 1حدِّد ميزانية الطاقة أولاً، لا النموذج
Why it matters: للمنتجات المدمجة غلاف حراري أو طاقي ثابت — سعة بطارية، خط PoE مشترك، حد تبريد سلبي — ويجب أن يناسب النموذج ما تبقى بعد نصيب المستشعرات والوحدات اللاسلكية والمشغلات. - 2ضع هدفاً بالجول لكل رمز، لا عدد رموز في الثانية
Why it matters: رقم الرموز/ثانية بلا سياق طاقي لا يمكن مقارنته بين فئات المسرّعات. الجول لكل رمز هو الرقم الذي يحدد فعلاً عمر البطارية أو الهامش الحراري في المنتج النهائي. - 3افصل عرض النطاق الترددي للذاكرة عن سعتها في ورقة المواصفات
Why it matters: سرعة التوليد محدودة بعرض النطاق الترددي بالغيغابايت/ثانية إلى الأوزان وذاكرة KV، لا بكمية DRAM على اللوحة. ذاكرة مؤقتة أكبر لا يمكن قراءتها بسرعة كافية لا ترفع إنتاجية فك الترميز. - 4أكِّد نطاق درجة الحرارة الصناعي ودورة حياة التوريد قبل اختيار النموذج، لا بعده
Why it matters: شريحة بالتزام توريد لمدة 3 سنوات لا يمكن استخدامها في منتج بالتزام خدمة لمدة 10 سنوات، بغض النظر عن مدى جودة تشغيلها للنموذج المستهدف في المختبر. - 5تأكد من مخططات التكميم التي تقبلها سلسلة أدوات NPU فعلياً
Why it matters: العديد من مترجمات NPU المدمجة تدعم فقط مجموعة ثابتة من مخططات تكميم الأوزان والتنشيطات وذاكرة KV. تحقق من ذلك مقابل المترجم قبل الالتزام بنموذج، لا بعد فشل الترجمة. - 6ضيّق نطاق المرشحين عبر أداة الاختيار التفاعلية أدناه، ثم تحقق على شريحة فعلية
Why it matters: مرشّح حسب الطاقة / حجم النموذج / الفيديو / نطاق درجة الحرارة يضيّق النطاق إلى قائمة قصيرة خلال دقائق. بيانات القياس المُقاسة على المسرّع الفعلي، داخل الهيكل الفعلي، هي وحدها ما يؤكد الجول لكل رمز لمنتجك.
اعثر على العتاد الطرفي المناسب لمنتجك
هذه أسرع طريقة لتحويل ميزانية طاقة وحجم نموذج مستهدف إلى قائمة مرشحين قصيرة. اضبط غلاف الطاقة، وحجم النموذج بمليارات المعاملات، وما إذا كان المنتج يحتاج إلى استقبال فيديو أو نطاق درجة حرارة صناعي — يُحدَّث الجدول أدناه لإظهار فئات المنصات التي يستحق اختبارها لاحقاً.
Platforms that fit
| Platform | Power | Fits up to | Note |
|---|---|---|---|
| NVIDIA Jetson Orin Nano Super | 7–25 W | 8B | Entry dev kit; natural upgrade from a Raspberry Pi |
| NVIDIA Jetson Orin NX | 10–40 W | 13B | Mid-tier module, up to 157 TOPS |
| NVIDIA Jetson AGX Orin 64GB | 15–60 W | 34B | 275 TOPS; current volume robotics workhorse |
كيف تُقارَن شرائح الذكاء الاصطناعي الطرفي من حيث الطاقة والحوسبة؟
مواصفات موثّقة من الشركات المصنّعة للمنصات المذكورة في هذا الدليل، تم التحقق منها مقابل الوثائق الأولية للشركات المصنّعة بتاريخ 2026-09-02. القيم المُشار إليها بـ"مُبلَّغ عنها" مصدرها مصادر ثانوية بدلاً من ورقة بيانات أولية للشركة المصنّعة، وتُعرض مع هذا التحفّظ — تعامل معها كتقريبية إلى أن تؤكدها مع جهة الاتصال الخاصة بالمورّد.
المنصة | الفئة | ذروة حوسبة الذكاء الاصطناعي | الطاقة (TDP) | الذاكرة / BW |
|---|---|---|---|---|
| Jetson AGX Thor (T5000) | وحدة GPU مدمجة | 2,070 تيرافلوبس FP4 متناثر | 40–130 واط | 128 غيغابايت LPDDR5X، 273 غيغابايت/ثانية |
| Jetson AGX Orin 64GB | شريحة SoC طرفية متكاملة | 275 TOPS | 15–60 واط | 64 غيغابايت LPDDR5 |
| Jetson Orin NX | شريحة SoC طرفية متكاملة | ~157 TOPS (مُبلَّغ عنها) | 10–40 واط | 8/16 غيغابايت LPDDR5 |
| Jetson Orin Nano Super | شريحة SoC طرفية متكاملة | ~67 TOPS (مُبلَّغ عنها) | 7–25 واط | 8 غيغابايت LPDDR5 |
| Hailo-10H | مسرّع مخصص (M.2) | استدلال ثابت الوظيفة | أقل من 5 واط (شكل M.2) | بصمة 1.2 غيغابايت (مقاسة) |
| Rockchip RK3588 | SBC + NPU | 6 TOPS (NPU ثلاثي الأنوية) | على مستوى اللوحة، واطات أحادية الرقم منخفضة | مشتركة مع لوحة SBC المضيفة |
| Ambarella سلسلة N | شريحة رؤية متكاملة | غير معلن | غير معلن | إطلاق CES 2026، متعدد المستشعرات + ذكاء اصطناعي توليدي طرفي |
| Qualcomm سلسلة QRB | شريحة SoC طرفية متكاملة | يعتمد على المنصة | يعتمد على المنصة | مهيمنة في الطائرات المسيّرة — راجع المقال الشقيق |
يحمل Jetson AGX Thor أيضاً منفذ QSFP رباعي 25 جيجابت إيثرنت ويدعم حتى 32 كاميرا MIPI CSI-2؛ وتذكر NVIDIA أنه يقدّم ما يصل إلى 7.5 أضعاف حوسبة الذكاء الاصطناعي و3.5 أضعاف كفاءة الطاقة مقارنةً بـJetson AGX Orin. كلا الرقمين من مقارنة NVIDIA نفسها، وليسا اختباراً مستقلاً أُجري لهذا المقال.
كيف يبدو نموذج 1.5B فعلياً على شريحة مخصصة؟
نشرت Hailo نتيجة قياس فعلي لنموذج Qwen2-1.5B-Instruct يعمل على Hailo-10H توضّح جوهر أطروحة هذا الدليل: 9.45 رمزاً في الثانية بمتوسط طاقة 2.1 واط. وفق معايير سطح المكتب، فإن 9.45 رمزاً/ثانية من نموذج 1.5B نتيجة عادية. أما وفق معايير التطبيق المدمج — وحدة M.2 أقل من 5 واط تستهلك بالكاد أكثر من استهلاك شاحن هاتف في وضع الاستعداد — فهذا هو الفرق بين منتج يعمل ببطارية صغيرة وآخر يحتاج إلى هيكل أكبر ومروحة.
الأرقام أدناه هي بيانات قياس منشورة من Hailo نفسها، وليست قياساً مستقلاً أُجري لهذا المقال — استشهد بها كموثّقة من المورّد عند استخدامها في مواصفة.
المقياس | القيمة |
|---|---|
| النموذج | Qwen2-1.5B-Instruct |
| الإنتاجية | 9.45 رمز/ثانية |
| زمن أول رمز (96 رمز إدخال) | 289 مللي ثانية |
| متوسط الطاقة | 2.1 واط |
| بصمة الذاكرة | 1.2 غيغابايت |
| ذاكرة التخزين المؤقت KV | 2,048 رمزاً (~1,536 كلمة) |
| تكميم الأوزان | 4-بت متماثل، حسب المجموعة |
| تكميم التنشيط | 8-بت غير متماثل، لكل موتر |
| تكميم ذاكرة KV | 8-بت غير متماثل، لكل موتر |
| دعم بيئة التشغيل / نظام التشغيل | HailoRT — Linux وWindows وAndroid |
يعمل HailoRT على Linux وWindows وAndroid، والوحدة نفسها بشكل M.2 أقل من 5 واط — وهذه هي نقطة المقارنة ذات الصلة لمنتج محدود بالبطارية أو PoE، لا قائمة تصنيف رموز/ثانية على سطح المكتب.
كيف يجب تكميم نموذج لهدف NPU مدمج؟
عادةً ما تقبل سلاسل أدوات NPU المدمجة مجموعة ثابتة وأصغر من مخططات التكميم مقارنةً بمكدس استدلال سطح مكتب، لذا يجب أن يحدد مترجم العتاد المستهدف خطة التكميم، لا العكس. تأكد من المخطط المقبول قبل اختيار نموذج، لا بعد فشل الترجمة.
التكميم الثابت يحدد مسبقاً مقياس ونقطة الصفر للأوزان والتنشيطات باستخدام مجموعة بيانات معايرة — وهذا ما تشترطه معظم مترجمات NPU ثابتة الوظيفة، لأنه يجنّب الشريحة تكلفة حساب معاملات التكميم أثناء التشغيل. أما التكميم الديناميكي فيحسب هذه المعاملات وقت الاستدلال وهو أكثر مرونة، لكن قلة من مترجمات NPU المدمجة تدعمه لأنه يضيف زمن استجابة كان خط الأنابيب ثابت الوظيفة مصمماً أصلاً لتجنبه.
تكميم التنشيط لكل موتر (عامل مقياس واحد لموتر تنشيط كامل، كما في تهيئة Qwen2-1.5B المنشورة من Hailo بنمط 8-بت غير متماثل) هو الخيار الافتراضي الشائع في التطبيقات المدمجة: تطبيقه أرخص على NPU من مخطط لكل قناة، مقابل خسارة دقة متواضعة عادةً ما تكون مقبولة للمطالبات القصيرة الخاصة بمهمة معينة النموذجية لمنتج مدمج.
ذاكرة التخزين المؤقت KV المُكمَّمة — 8-بت غير متماثل لكل موتر في مثال Hailo-10H أعلاه — تقلّص الذاكرة التي يجب على المسرّع الاحتفاظ بها وإعادة قراءتها لكل رمز مُولَّد، ما يرفع مباشرةً سقف الرموز/ثانية الموصوف في قيد عرض النطاق الترددي للذاكرة أعلاه. راجع كيف يعمل تكميم نماذج اللغة وما الذي يغيّره كل تنسيق فعلياً لآلية تكميم الأوزان والتنشيطات وذاكرة KV الأساسية المشتركة بين الأهداف المكتبية والمدمجة.
ماذا يجب أن تشتري لعمل نموذج أولي لمنتج ذكاء اصطناعي طرفي؟
اصنع النموذج الأولي على عدة تطوير من نفس فئة العتاد التي تخطط لشحنها، لا على جهاز GPU لسطح المكتب — فالسلوك الحراري والطاقي لفئة الشحن هو تحديداً ما لا يمكن لمنصة سطح المكتب أن تخبرك به.
- عدد تطوير NVIDIA Jetson — الطريقة القياسية لصنع نموذج أولي لفئتي شريحة SoC الطرفية المتكاملة ووحدة GPU المدمجة قبل الالتزام بلوحة حاملة للإنتاج. تأكد من توفر الطرازات الحالية والأسعار مباشرةً من NVIDIA أو موزّع معتمد؛ تتغير الأرقام والأسعار المحددة كثيراً بحيث لا يمكن ذكرها هنا بشكل موثوق.
- وحدات مسرّع Hailo M.2 — الطريقة القياسية لصنع نموذج أولي لفئة المسرّع المخصص على لوحة حاملة قائمة بها منفذ M.2/PCIe متاح بالفعل. تأكد من التوفر الحالي مباشرةً من Hailo أو موزّع معتمد.
- Raspberry Pi AI HAT+ — الطريقة القياسية لصنع نموذج أولي رخيص لفئة لوحة SBC + وحدة NPU إضافية قبل تقرير ما إذا كان المنتج يحتاج فعلاً إلى فئة حوسبة أعلى. تأكد من الأسعار والتوفر الحاليين مباشرةً من Raspberry Pi أو بائع معتمد.
- لوحات حاملة وهياكل صناعية — تلزم بمجرد انتقال النموذج الأولي من مقعد المختبر نحو نطاق درجة الحرارة الموسّع وتحمل الاهتزاز الذي يتطلبه منتج جاهز للشحن؛ حددها من مورّد مدمج صناعي، لا لوحة حاملة استهلاكية، بمجرد أن يتطلب ذلك الجدول الزمني للمنتج.
متى يكون الاستدلال الطرفي هو الخيار الخاطئ؟
الاستدلال الطرفي هو الخيار الافتراضي الخاطئ في ثلاث حالات منتج شائعة — وفرضه رغم ذلك يكلّف عادةً وقتاً هندسياً أكثر مما يوفّره من زمن استجابة أو خصوصية.
- أحمال عمل متقطعة مع فترات خمول طويلة. إذا كان المنتج يحتاج إلى الاستدلال أحياناً فقط ولديه اتصال موثوق بقية الوقت، فإن ميزانية الطاقة وقائمة المكونات الثابتة لشريحة طرفية مخصصة تُنفَق على الحفاظ على قدرة نادراً ما يستخدمها المنتج — استدعاء سحابي خلال نافذة النشاط عادةً ما يكون أرخص على مدى عمر المنتج.
- مهام تعتمد فعلاً على استدلال بمستوى النماذج الرائدة. نموذج صغير بما يكفي ليناسب ميزانية طاقة طرفية لن يضاهي نموذجاً كبيراً مستضافاً في الاستدلال المفتوح، أو التخطيط متعدد الخطوات، أو المعرفة العامة الواسعة — الشريحة الطرفية هي الخيار الصحيح لمهمة ضيقة ومحددة جيداً، لا لمساعد عام الغرض.
- منتجات ذات اتصال موثوق وبلا قيد خصوصية أو زمن استجابة. إذا لم يكن هناك شيء في المنتج يتطلب بقاء البيانات على الجهاز، ولا شيء يتطلب استجابة أقل من 100 مللي ثانية دون رحلة شبكة ذهاباً وإياباً، فإن الحجة لدفع ميزانية طاقة وتكلفة الشريحة الطرفية تضعف بشكل كبير — تحقق من أن القيد حقيقي قبل التصميم حوله.
ما التنظيم المطبَّق على الآلات المدفوعة بالذكاء الاصطناعي في 2026؟
تُصنِّف لائحة الآلات الأوروبية (2023/1230)، السارية اعتباراً من يناير 2027، وظائف السلامة المدفوعة بالذكاء الاصطناعي في الآلات على أنها عالية الخطورة — ويتقاطع هذا مباشرةً مع قانون الذكاء الاصطناعي الأوروبي لأي منتج طرفي يمكن فيه لمخرجات نموذج لغة أو نموذج رؤية-لغة أن تؤثر على وظيفة سلامة فعلية. هذه معلومات عامة للسياق، وليست استشارة قانونية؛ تأكد من قابلية التطبيق على منتج محدد لدى مستشار تنظيمي مؤهل قبل الشحن.
المُحفِّز العملي ضيق لكنه مهم: إذا كانت نتيجة استدلال طرفي (تصنيف جسم، قرار تخطيط، تنبيه تحليل فيديو) تُغذّي وظيفة تحكم متعلقة بالسلامة في آلة، فقد تنطبق في آن واحد متطلبات الصحة والسلامة الأساسية للائحة الآلات وتصنيف الخطورة العالية في قانون الذكاء الاصطناعي. المنتج الذي يستخدم الاستدلال الطرفي فقط لوظيفة غير متعلقة بالسلامة (واجهة صوتية، لوحة تحليلات) يقع خارج هذا التداخل المحدد، رغم أن التزامات أخرى بموجب قانون الذكاء الاصطناعي قد تظل سارية حسب حالة الاستخدام.
هذا بُعد امتثال لا يحتاج دليل نماذج لغة محلي لسطح المكتب إلى معالجته أبداً، لأن تطبيق سطح المكتب ليس، بحكم تعريفه، جزءاً من آلة ذات وظيفة سلامة. دمج ذلك مبكراً في مواصفات العتاد — بدلاً من إضافته لاحقاً إلى تصميم مُقفَل بالفعل — هو الدرس العملي للمنتجات المشمولة.
بالنسبة لأسواق الخليج، تدفع قيود السيادة على البيانات وقوانين حماية البيانات الإقليمية (مثل نظام حماية البيانات الشخصية السعودي PDPL وقانون حماية البيانات الإماراتي) نحو الاستدلال المحلي عند معالجة بيانات شخصية عبر أجهزة الحافة، بموازاة الدفع الإقليمي نحو ذكاء اصطناعي سيادي وعربي أولاً؛ وهذا سياق إضافي وليس بديلاً عن الاستشارة القانونية المتخصصة.
الأسئلة الشائعة
ما الفرق الجوهري بين اختيار عتاد نماذج اللغة لسطح المكتب واختياره للتطبيق الطرفي؟
اختيار سطح المكتب يُحسِّن الرموز في الثانية مقابل VRAM المتاحة. أما الاختيار الطرفي فيُحسِّن الجول لكل رمز مقابل نقطة تصميم حرارية وميزانية طاقة ثابتتين — يجب أن يناسب النموذج الطاقة المتبقية في المنتج، لا العكس.
هل نموذج صغير على NPU مخصص أفضل فعلاً من نموذج أكبر على GPU؟
مع ميزانية طاقة ثابتة، غالباً نعم. نموذج 1.5B بمعدل 9.45 رمزاً/ثانية ضمن 2.1 واط على Hailo-10H، وفقاً لقياس Hailo المنشور، نتيجة ضعيفة على سطح المكتب وقوية في التطبيق المدمج — والمقارنة لا تكون منطقية إلا بعد تثبيت قيد الطاقة.
ما هي نقطة التصميم الحراري ولماذا تهم نماذج اللغة الطرفية؟
هي شرط التشغيل المستدام — عادةً درجة الحرارة المحيطة داخل هيكل مغلق، غالباً بلا مروحة — الذي يجب أن تحقق عنده الشريحة أداءها المُعلَن، خلافاً لذروة ورقة البيانات المقاسة بتدفق هواء لا تملكه معظم المنتجات. قد تقع الإنتاجية الفعلية تحت التقييد الحراري دون تلك الذروة بكثير.
لماذا يهم عرض النطاق الترددي للذاكرة أكثر من سعتها لتوليد الرموز؟
توليد الرموز محدود بعرض النطاق الترددي: تُقيَّد سرعة فك الترميز تقريباً بعرض النطاق الترددي للذاكرة بالغيغابايت/ثانية مقسوماً على البايتات المقروءة لكل رمز. لوحة بذاكرة DRAM أكبر بنفس السرعة لا تولّد رموزاً أسرع — عرض النطاق الترددي، لا السعة، هو ما يضع السقف.
ما هو نطاق درجة الحرارة الصناعي ولماذا يهم دورة حياة المنتج؟
هو نطاق تشغيل موسّع (يتجاوز بكثير نطاق 0–40 درجة مئوية الاستهلاكي المعتاد) تُصنَّف الشريحة وتُوَرَّد من أجله ضمن التزام متعدد السنوات. شريحة استهلاكية تُوَرَّد عادةً ضمن دورة 2–3 سنوات لا يمكن استخدامها في منتج بعمر خدمة 10 سنوات دون فرض إعادة تصميم للعتاد في منتصف العمر.
كم من الطاقة يستهلك Hailo-10H عند تشغيل نموذج لغة صغير؟
وفقاً لبيانات Hailo المنشورة، يستهلك Hailo-10H بمتوسط 2.1 واط عند تشغيل Qwen2-1.5B-Instruct بمعدل 9.45 رمزاً/ثانية، ببصمة ذاكرة 1.2 غيغابايت وذاكرة تخزين مؤقت KV بحجم 2,048 رمزاً، بشكل M.2 أقل من 5 واط.
ما مقدار الحوسبة التي يقدّمها NVIDIA Jetson AGX Thor؟
وفقاً لورقة بيانات NVIDIA، يقدّم Jetson AGX Thor (T5000) 2,070 تيرافلوبس FP4 متناثر (1,035 تيرافلوبس FP4 كثيف، 517 تيرافلوبس FP8 كثيف) بقدرة 40–130 واط، مع 128 غيغابايت من ذاكرة LPDDR5X بسرعة 273 غيغابايت/ثانية عبر ناقل 256 بت.
هل يجب أن أكمِّم الأوزان أم التنشيطات أم ذاكرة KV من أجل NPU طرفية؟
عادةً الثلاثة جميعاً، ضمن المخطط الذي يقبله مترجم NPU المستهدفة. تكميم التنشيط الثابت لكل موتر وذاكرة KV المُكمَّمة هما الخياران الافتراضيان الشائعان في التطبيقات المدمجة، لأن معظم سلاسل أدوات NPU ثابتة الوظيفة تدعم فقط مجموعة محدودة وثابتة من المخططات — تأكد من المخطط المقبول قبل اختيار نموذج.
متى لا ينبغي استخدام الاستدلال الطرفي على الإطلاق؟
تجنّب الاستدلال الطرفي للأحمال المتقطعة والنادرة الاستخدام ذات الاتصال الموثوق، وللمهام التي تحتاج فعلاً إلى استدلال بمستوى النماذج الرائدة يتجاوز ما يمكن أن يقدمه نموذج بحجم طرفي، وللمنتجات التي لا يوجد فيها قيد خصوصية أو زمن استجابة حقيقي يفرض بقاء البيانات على الجهاز.
كيف أبدأ في تحديد الحوسبة الطرفية لمنتج جديد؟
حدِّد ميزانية الطاقة وعمر الخدمة المطلوب قبل تقييم أي شريحة محددة، وضع هدفاً بالجول لكل رمز بدلاً من الرموز في الثانية، وتأكد من عرض النطاق الترددي للذاكرة ونطاق درجة الحرارة الصناعي مقابل قيود المنتج، ثم استخدم أداة الاختيار التفاعلية في هذه الصفحة لتضييق المرشحين قبل اختبار شريحة فعلية.