Wichtigste Erkenntnisse
- Edge-Einsatz optimiert Joule pro Token gegen einen thermischen Auslegungspunkt — nicht Tokens pro Sekunde gegen VRAM, die Desktop-Kennzahl.
- Ein 1,5B-Modell mit 9,45 Tok/s bei 2,1 W (Hailo-10H, laut Hailos veröffentlichten Daten) ist im eingebetteten Kontext ein starkes Ergebnis, auf dem Desktop wäre es schwach.
- Vier Hardwareklassen decken die meisten Produkte ab: SBC + NPU-Hat, dedizierter M.2-Beschleuniger, integriertes Edge-SoC und eingebettetes GPU-Modul — passend zum Leistungsbudget, nicht zur reinen Modellgröße.
- Der NVIDIA Jetson AGX Thor (T5000) liefert laut NVIDIA-Datenblatt 2.070 TFLOPS FP4 sparse bei 40–130 W mit 128 GB LPDDR5X bei 273 GB/s — die Spitze der eingebetteten GPU-Klasse.
- Speicherbandbreite, nicht Speicherkapazität, begrenzt die Token-Generierungsgeschwindigkeit — eine Platine mit mehr DRAM bei gleicher GB/s erzeugt keine Token schneller.
- Industrieller Temperaturbereich und Bauteil-Lebenszyklus müssen vor der Modellwahl geklärt werden, nicht danach — ein Bauteil mit 3 Jahren Lebenszyklus passt nicht in ein Produkt mit 10 Jahren Betriebsdauer.
- Viele NPU-Toolchains akzeptieren nur einen festen Satz an Quantisierungsschemata — der Quantisierungsplan sollte sich nach den Compiler-Beschränkungen der Zielhardware richten, nicht umgekehrt.
Welche vier Klassen von Edge-AI-Hardware gibt es?
Vier Hardwareklassen decken nahezu jeden Edge-LLM-Einsatz ab, und die falsche Klasse zu wählen kostet mehr Entwicklungszeit als das falsche Modell zu wählen. Jede Klasse liegt an einem anderen Punkt der Kurve zwischen Leistung und Flexibilität. Die Klasse muss zum Leistungsbudget und zur Lebensdaueranforderung des Produkts passen, bevor einzelne Chips innerhalb dieser Klasse verglichen werden.
📍 In einem Satz
Edge-AI-Hardware gliedert sich in vier Klassen — SBC + NPU-Hat, dedizierter M.2-Beschleuniger, integriertes Edge-SoC und eingebettetes GPU-Modul — passend zum Leistungsbudget des Produkts, nicht zur reinen Modellgröße.
💬 In einfachen Worten
Ein SBC + NPU-Hat ist günstig und flexibel, wird aber in einem geschlossenen Gehäuse heiß. Ein dedizierter M.2-Beschleuniger erledigt eine Aufgabe bei sehr geringer Leistung. Ein integriertes SoC ist ein vollständiger Computer auf einem Chip, dimensioniert für Robotik und Kameras. Ein eingebettetes GPU-Modul bringt Desktop-Leistung in Produktgröße.
- SBC + NPU-Hat — ein universeller Einplatinencomputer (Klasse Raspberry Pi 5) mit aufgesetzter NPU-Beschleunigerkarte. Niedrigste Stücklistenkosten, flexibelster Software-Stack, schwächste anhaltende thermische Leistung in einem geschlossenen Gehäuse ohne Luftstrom.
- Dedizierter Beschleunigermodul (M.2) — ein festverdrahteter Inferenzchip wie der Hailo-10H, über einen M.2/PCIe-Steckplatz auf eine bestehende Trägerplatine aufgesetzt. Erledigt eine Aufgabe — quantisierte Inferenz — bei sehr geringer Leistungsaufnahme; keine allgemeine Recheneinheit und kann kein Betriebssystem ausführen.
- Integriertes Edge-SoC — ein einzelner Chip, der CPU, GPU oder NPU und I/O auf einem Die vereint, dimensioniert für ein bestimmtes Leistungsbudget. Die NVIDIA-Jetson-Orin-Familie (Orin Nano Super, Orin NX, AGX Orin) und der Rockchip RK3588 sind die Standardwahl für Robotik- und Kameraprodukte in Serie.
- Eingebettetes GPU-Modul — eine diskrete GPU, geschrumpft auf ein Modul-Formfaktor für die höchste Leistungsklasse am Edge, etwa das NVIDIA Jetson AGX Thor (T5000). Wird eingesetzt, wenn das Produkt echten Desktop-Klasse-Durchsatz braucht — Multikamera-Wahrnehmung, humanoide Robotik — innerhalb eines eingebetteten Leistungs- und Thermikbudgets.
Welche drei Beschränkungen ignorieren Desktop-Hardware-Leitfäden?
Desktop-Leitfäden für lokale LLMs optimieren auf VRAM-Kapazität und maximale Tokens pro Sekunde; eingebettete Produkte unterliegen drei anderen Beschränkungen, die ein Desktop-Benchmark nie berücksichtigen muss.
- Thermischer Auslegungspunkt statt Spitzenspezifikation. Der im Datenblatt angegebene TOPS-Wert setzt üblicherweise Luftstrom voraus, den die meisten geschlossenen, lüfterlosen Gehäuse nicht haben. Entscheidend ist der anhaltende Durchsatz bei 70 °C Umgebungstemperatur im tatsächlichen Gehäuse — unter thermischer Drosselung kann der reale Durchsatz deutlich unter dem Datenblatt-Höchstwert liegen.
- Speicherbandbreite, nicht Speicherkapazität, bestimmt die Generierungsgeschwindigkeit. Die Token-Generierung (Decodierphase) ist bandbreitenbegrenzt: Der Decodier-Durchsatz ist ungefähr durch die Speicherbandbreite in GB/s geteilt durch die pro Token gelesenen Bytes begrenzt. Eine Platine mit mehr DRAM, aber gleicher GB/s, erzeugt keine Token schneller — deshalb ist der 1,2-GB-Speicherbedarf und der 2.048-Token-KV-Cache des Hailo-10H bei durchschnittlich 2,1 W ein deutlich anderer Auslegungspunkt als der VRAM-Spielraum einer Desktop-GPU.
- Industrieller Temperaturbereich und Bauteil-Lebenszyklus, nicht Benchmark-Tabellen. Consumer-SoCs werden üblicherweise in 2–3-Jahres-Designzyklen beschafft. Ein Produkt mit zugesagter 10-jähriger Betriebsdauer braucht ein Bauteil mit passender Liefergarantie und erweitertem Temperaturbereich — ein Bauteil, das im vierten Jahr nicht mehr beschafft werden kann, erzwingt ein Hardware-Redesign zur Halbzeit, unabhängig davon, wie gut es das Zielmodell anfangs ausführte.
Wie spezifizieren Sie Edge-Rechenleistung für ein Produkt?
Legen Sie Leistungsbudget und Anforderung an die Betriebsdauer fest, bevor Sie einen bestimmten Chip bewerten. Die folgenden Schritte vermeiden den häufigsten Mehraufwand: zuerst ein Modell zu wählen und danach festzustellen, dass es nicht in das Leistungs- oder Lebenszyklusbudget passt.
- 1Zuerst das Leistungsbudget festlegen, nicht das Modell
Why it matters: Eingebettete Produkte haben ein festes thermisches bzw. Leistungsbudget — Akkukapazität, eine gemeinsam genutzte PoE-Leitung, ein passives Kühlungslimit — und das Modell muss in das passen, was nach Sensoren, Funkmodulen und Aktoren übrig bleibt. - 2Ein Joule-pro-Token-Ziel festlegen, kein Tokens-pro-Sekunde-Ziel
Why it matters: Ein Tokens/Sek.-Wert ohne Leistungskontext lässt sich nicht über Beschleunigerklassen hinweg vergleichen. Joule pro Token ist die Kennzahl, die tatsächlich Akkulaufzeit oder thermischen Spielraum im fertigen Produkt bestimmt. - 3Speicherbandbreite von Speicherkapazität im Lastenheft trennen
Why it matters: Die Generierungsgeschwindigkeit ist durch GB/s zu Gewichten und KV-Cache begrenzt, nicht durch die DRAM-Menge auf der Platine. Ein größerer Puffer, der nicht schnell genug gelesen werden kann, erhöht den Decodier-Durchsatz nicht. - 4Industriellen Temperaturbereich und Beschaffungslebenszyklus vor der Modellwahl klären, nicht danach
Why it matters: Ein Bauteil mit 3 Jahren Beschaffungszusage passt nicht in ein Produkt mit 10 Jahren Betriebszusage, egal wie gut es das Zielmodell im Labor ausführt. - 5Klären, welche Quantisierungsschemata die NPU-Toolchain tatsächlich akzeptiert
Why it matters: Viele eingebettete NPU-Compiler unterstützen nur einen festen Satz an Gewichts-, Aktivierungs- und KV-Cache-Quantisierungsschemata. Dies vor der Modellwahl gegen den Compiler prüfen, nicht nach einem fehlgeschlagenen Kompiliervorgang. - 6Kandidaten unten im interaktiven Auswahltool eingrenzen, dann auf echter Hardware validieren
Why it matters: Ein Filter nach Leistung, Modellgröße, Video und Temperaturbereich grenzt das Feld in Minuten auf eine Shortlist ein. Nur Messdaten vom tatsächlichen Beschleuniger im tatsächlichen Gehäuse bestätigen Joule pro Token für Ihr Produkt.
Passende Edge-Hardware für Ihr Produkt finden
Das ist der schnellste Weg, aus einem Leistungsbudget und einer Ziel-Modellgröße eine Shortlist zu machen. Legen Sie das Leistungsbudget, die Modellgröße in Milliarden Parametern fest und ob das Produkt Videoerfassung oder einen industriellen Temperaturbereich benötigt — die Tabelle unten zeigt dann, welche Plattformklassen sich als Nächstes zu benchmarken lohnen.
Platforms that fit
| Platform | Power | Fits up to | Note |
|---|---|---|---|
| NVIDIA Jetson Orin Nano Super | 7–25 W | 8B | Entry dev kit; natural upgrade from a Raspberry Pi |
| NVIDIA Jetson Orin NX | 10–40 W | 13B | Mid-tier module, up to 157 TOPS |
| NVIDIA Jetson AGX Orin 64GB | 15–60 W | 34B | 275 TOPS; current volume robotics workhorse |
Wie schneiden Edge-AI-Chips bei Leistung und Rechenleistung ab?
Herstellerdokumentierte Spezifikationen der in diesem Leitfaden genannten Plattformen, am 02.09.2026 gegen primäre Herstellerdokumentation geprüft. Mit „gemeldet" gekennzeichnete Werte stammen aus Sekundärquellen statt aus einem primären Herstellerdatenblatt und sind entsprechend als Näherungswerte zu behandeln, bis sie mit dem eigenen Herstellerkontakt bestätigt wurden.
Plattform | Klasse | Max. KI-Rechenleistung | Leistung (TDP) | Speicher / Bandbr. |
|---|---|---|---|---|
| Jetson AGX Thor (T5000) | Eingebettetes GPU-Modul | 2.070 TFLOPS FP4 sparse | 40–130 W | 128 GB LPDDR5X, 273 GB/s |
| Jetson AGX Orin 64GB | Integriertes Edge-SoC | 275 TOPS | 15–60 W | 64 GB LPDDR5 |
| Jetson Orin NX | Integriertes Edge-SoC | ~157 TOPS (gemeldet) | 10–40 W | 8/16 GB LPDDR5 |
| Jetson Orin Nano Super | Integriertes Edge-SoC | ~67 TOPS (gemeldet) | 7–25 W | 8 GB LPDDR5 |
| Hailo-10H | Dedizierter Beschleuniger (M.2) | Festverdrahtete Inferenz | < 5 W (M.2-Formfaktor) | 1,2 GB Speicherbedarf (gemessen) |
| Rockchip RK3588 | SBC + NPU | 6 TOPS (3-Kern-NPU) | Board-Ebene, niedriger einstelliger W-Bereich | Gemeinsam mit Host-SBC |
| Ambarella N-Serie | Integriertes Vision-SoC | Nicht offengelegt | Nicht offengelegt | CES-2026-Start, Multisensor + Edge-GenAI |
| Qualcomm QRB-Serie | Integriertes Edge-SoC | Plattformabhängig | Plattformabhängig | Dominant bei Drohnen — siehe Schwesterartikel |
Das Jetson AGX Thor verfügt zudem über einen QSFP-4×25GbE-Port und unterstützt bis zu 32 MIPI-CSI-2-Kameras; NVIDIA gibt bis zu 7,5-fache KI-Rechenleistung und 3,5-fach bessere Energieeffizienz gegenüber Jetson AGX Orin an. Beide Werte stammen von NVIDIA selbst, nicht aus einem unabhängigen Benchmark für diesen Artikel.
Wie sieht ein 1,5B-Modell auf dedizierter Hardware tatsächlich aus?
Hailo hat ein gemessenes Ergebnis für Qwen2-1.5B-Instruct auf dem Hailo-10H veröffentlicht, das die zentrale These dieses Leitfadens illustriert: 9,45 Token pro Sekunde bei durchschnittlich 2,1 W. Nach Desktop-Maßstäben ist das ein unauffälliges Ergebnis für ein 1,5B-Modell. Nach eingebetteten Maßstäben — ein M.2-Modul unter 5 W, das kaum mehr zieht als das Standby eines Handyladegeräts — ist es der Unterschied zwischen einem Produkt, das mit einem kleinen Akku auskommt, und einem, das ein größeres Gehäuse und einen Lüfter braucht.
Die folgenden Werte sind Hailos eigene veröffentlichte Benchmark-Daten, keine unabhängige Messung für diesen Artikel — im Lastenheft entsprechend als herstellerdokumentiert kennzeichnen.
Kennzahl | Wert |
|---|---|
| Modell | Qwen2-1.5B-Instruct |
| Durchsatz | 9,45 Tok/s |
| TTFT (96 Eingabe-Token) | 289 ms |
| Durchschnittsleistung | 2,1 W |
| Speicherbedarf | 1,2 GB |
| KV-Cache | 2.048 Token (~1.536 Wörter) |
| Gewichtsquantisierung | 4-Bit symmetrisch, gruppenweise |
| Aktivierungsquantisierung | 8-Bit asymmetrisch, pro Tensor |
| KV-Cache-Quantisierung | 8-Bit asymmetrisch, pro Tensor |
| Runtime / OS-Unterstützung | HailoRT — Linux, Windows, Android |
HailoRT läuft unter Linux, Windows und Android, und das Modul selbst ist ein M.2-Formfaktor unter 5 W — der relevante Vergleichspunkt für ein akku- oder PoE-beschränktes Produkt, nicht eine Desktop-Tokens/Sek.-Bestenliste.
Wie sollten Sie ein Modell für ein eingebettetes NPU-Ziel quantisieren?
Eingebettete NPU-Toolchains akzeptieren typischerweise einen festen, kleineren Satz an Quantisierungsschemata als ein Desktop-Inferenz-Stack — der Compiler der Zielhardware sollte den Quantisierungsplan bestimmen, nicht umgekehrt. Klären Sie das akzeptierte Schema, bevor Sie ein Modell auswählen, nicht nach einem fehlgeschlagenen Kompiliervorgang.
Statische Quantisierung legt Skalierungsfaktor und Nullpunkt für Gewichte und Aktivierungen vorab anhand eines Kalibrierungsdatensatzes fest — das verlangen die meisten festverdrahteten NPU-Compiler, weil der Chip so die Laufzeitkosten für die Berechnung der Quantisierungsparameter vermeidet. Dynamische Quantisierung berechnet diese Parameter zur Laufzeit und ist flexibler, wird aber von wenigen eingebetteten NPU-Compilern unterstützt, da sie Latenz hinzufügt, die die festverdrahtete Pipeline gerade vermeiden soll.
Aktivierungsquantisierung pro Tensor (ein Skalierungsfaktor für einen gesamten Aktivierungstensor, wie in Hailos veröffentlichter Qwen2-1,5B-Konfiguration mit 8-Bit asymmetrisch) ist der übliche eingebettete Standard: Sie ist für die NPU günstiger anzuwenden als ein Schema pro Kanal, bei einem moderaten Genauigkeitsverlust, der für die kurzen, aufgabenspezifischen Prompts eines eingebetteten Produkts meist akzeptabel ist.
Ein quantisierter KV-Cache — im Hailo-10H-Beispiel oben 8-Bit asymmetrisch pro Tensor — verkleinert den Speicher, den der Beschleuniger pro erzeugtem Token vorhalten und zurücklesen muss, und hebt damit direkt die in der Speicherbandbreiten-Beschränkung oben beschriebene Token/Sek.-Obergrenze an. Siehe wie LLM-Quantisierung funktioniert und was jedes Format tatsächlich verändert für die zugrunde liegende Mechanik von Gewichts-, Aktivierungs- und KV-Cache-Quantisierung, die Desktop- und eingebettete Zielsysteme gemeinsam nutzen.
Was sollten Sie zum Prototyping eines Edge-AI-Produkts kaufen?
Prototypen Sie auf einem Entwicklungskit derselben Hardwareklasse, die Sie ausliefern wollen, nicht auf einer Desktop-GPU-Box — genau das thermische und Leistungsverhalten der Serienklasse kann ein Desktop-Aufbau Ihnen nicht zeigen.
- NVIDIA-Jetson-Entwicklungskits — der Standardweg, um die Klassen integriertes Edge-SoC und eingebettetes GPU-Modul zu prototypisieren, bevor Sie sich auf eine Serien-Trägerplatine festlegen. Aktuelle Modellverfügbarkeit und Preise direkt bei NVIDIA oder einem autorisierten Distributor bestätigen; konkrete Artikelnummern und Preise ändern sich zu oft, um sie hier verlässlich zu nennen.
- Hailo-M.2-Beschleunigermodule — der Standardweg, um die Klasse dedizierter Beschleuniger auf einer bestehenden Trägerplatine mit freiem M.2/PCIe-Steckplatz zu prototypisieren. Aktuelle Verfügbarkeit direkt bei Hailo oder einem autorisierten Distributor bestätigen.
- Raspberry Pi AI HAT+ — der Standardweg, um die Klasse SBC + NPU-Hat günstig zu prototypisieren, bevor entschieden wird, ob das Produkt überhaupt eine höhere Rechenklasse braucht. Aktuelle Preise und Verfügbarkeit direkt bei Raspberry Pi oder einem autorisierten Händler bestätigen.
- Industrielle Trägerplatinen und Gehäuse — nötig, sobald ein Prototyp vom Laborversuch in Richtung des erweiterten Temperaturbereichs und der Vibrationsfestigkeit eines Serienprodukts wechselt; hierfür einen Industrie-Embedded-Anbieter spezifizieren, keine Consumer-Trägerplatine, sobald der Produktzeitplan das verlangt.
Wann ist Edge-Inferenz die falsche Wahl?
Edge-Inferenz ist in drei häufigen Produktsituationen die falsche Standardwahl — sie trotzdem zu erzwingen kostet meist mehr Entwicklungszeit, als sie an Latenz oder Datenschutz einspart.
- Sprunghafte Lasten mit langen Ruhephasen. Braucht das Produkt Inferenz nur gelegentlich und ist die restliche Zeit zuverlässig vernetzt, wird das feste Leistungs- und Stücklistenbudget dedizierter Edge-Hardware für Kapazität ausgegeben, die selten genutzt wird — ein Cloud-Aufruf während des aktiven Zeitfensters ist über die Produktlebensdauer meist günstiger.
- Aufgaben, die tatsächlich Reasoning auf Spitzenniveau erfordern. Ein Modell, das klein genug für ein Edge-Leistungsbudget ist, kann bei offenem Reasoning, mehrstufiger Planung oder breitem Weltwissen nicht mit einem großen gehosteten Modell mithalten — Edge-Hardware ist die richtige Wahl für eine eng umrissene, klar spezifizierte Aufgabe, nicht für einen Allzweckassistenten.
- Produkte mit zuverlässiger Konnektivität und ohne Datenschutz- oder Latenzbeschränkung. Muss nichts am Produkt die Daten auf dem Gerät halten und braucht nichts eine Antwort unter 100 ms ohne Netzwerk-Roundtrip, schwächt sich das Argument für das Leistungs- und Kostenbudget dedizierter Edge-Hardware deutlich ab — prüfen Sie, ob die Beschränkung real ist, bevor Sie danach entwerfen.
Welche Regulierung gilt 2026 für KI-gesteuerte Maschinen?
Die EU-Maschinenverordnung (2023/1230), anwendbar ab Januar 2027, stuft KI-gesteuerte Sicherheitsfunktionen in Maschinen als hochriskant ein — das greift direkt in den EU AI Act für jedes Edge-Produkt hinein, bei dem eine LLM- oder VLM-Ausgabe eine physische Sicherheitsfunktion beeinflussen kann. Dies ist eine allgemeine Hintergrundinformation, keine Rechtsberatung; klären Sie die Anwendbarkeit auf ein konkretes Produkt mit qualifizierter regulatorischer Rechtsberatung, bevor Sie ausliefern.
Der praktische Auslöser ist eng gefasst, aber wichtig: Fließt ein Edge-Inferenzergebnis (eine Objektklassifikation, eine Planungsentscheidung, ein Videoanalyse-Alarm) in eine sicherheitsrelevante Steuerungsfunktion einer Maschine ein, können sowohl die grundlegenden Gesundheits- und Sicherheitsanforderungen der Maschinenverordnung als auch die Hochrisiko-Einstufung des AI Acts gleichzeitig greifen. Ein Produkt, das Edge-Inferenz nur für eine nicht sicherheitsrelevante Funktion nutzt (eine Sprachschnittstelle, ein Analyse-Dashboard), fällt aus dieser spezifischen Überschneidung heraus, wobei andere AI-Act-Pflichten je nach Anwendungsfall dennoch gelten können.
Das ist eine Compliance-Dimension, die ein Desktop-Leitfaden für lokale LLMs nie berücksichtigen muss, weil eine Desktop-Anwendung per Definition keine Maschine mit Sicherheitsfunktion ist. Für Produkte in diesem Anwendungsbereich ist die praktische Lehre, das früh in die Hardwarespezifikation einzubauen — statt es nachträglich in ein bereits festgelegtes Design zu integrieren.
Für den deutschen und DACH-Kontext kommt hinzu: BSI-Grundschutz-Kataloge und branchenspezifische Normen (etwa IEC 61508 für funktionale Sicherheit) laufen parallel zur Maschinenverordnung und dem AI Act und sollten in derselben frühen Spezifikationsphase mitgeprüft werden, insbesondere für Mittelstandsunternehmen, die Edge-Produkte für den europäischen Markt entwickeln.
Häufig gestellte Fragen
Was ist der zentrale Unterschied bei der Hardwareauswahl zwischen Desktop- und Edge-LLMs?
Die Desktop-Auswahl optimiert Tokens pro Sekunde gegen verfügbaren VRAM. Die Edge-Auswahl optimiert Joule pro Token gegen einen festen thermischen Auslegungspunkt und ein Leistungsbudget — das Modell muss in das passen, was an Leistung übrig bleibt, nicht umgekehrt.
Ist ein kleines Modell auf einer dedizierten NPU wirklich besser als ein größeres auf einer GPU?
Bei einem festen Leistungsbudget oft ja. Ein 1,5B-Modell mit 9,45 Tok/s bei 2,1 W auf dem Hailo-10H, laut Hailos veröffentlichtem Benchmark, ist auf dem Desktop ein schwaches Ergebnis und im eingebetteten Kontext ein starkes — der Vergleich ergibt erst Sinn, wenn die Leistungsbeschränkung feststeht.
Was ist ein thermischer Auslegungspunkt und warum ist er für Edge-LLMs wichtig?
Das ist die anhaltende Betriebsbedingung — typischerweise die Umgebungstemperatur in einem geschlossenen, oft lüfterlosen Gehäuse —, bei der ein Chip seine angegebene Leistung erbringen muss, im Gegensatz zum Spitzenwert im Datenblatt, der mit Luftstrom gemessen wurde, den die meisten Produkte nicht haben. Der reale Durchsatz unter thermischer Drosselung kann deutlich unter diesem Spitzenwert liegen.
Warum ist Speicherbandbreite wichtiger als Speicherkapazität für die Token-Generierung?
Die Token-Generierung ist bandbreitenbegrenzt: Die Decodier-Geschwindigkeit ist ungefähr durch die Speicherbandbreite in GB/s geteilt durch die pro Token gelesenen Bytes begrenzt. Eine Platine mit mehr DRAM bei gleicher GB/s erzeugt keine Token schneller — die Bandbreite, nicht die Kapazität, setzt die Obergrenze.
Was ist ein industrieller Temperaturbereich und warum ist er für den Produktlebenszyklus wichtig?
Das ist ein erweiterter Betriebsbereich (deutlich über den üblichen Consumer-Werten von 0–40 °C), für den ein Bauteil über eine mehrjährige Zusage hinweg spezifiziert und beschafft wird. Ein Consumer-Bauteil, das üblicherweise in einem 2–3-Jahres-Zyklus beschafft wird, passt nicht in ein Produkt mit 10 Jahren Betriebsdauer, ohne ein Hardware-Redesign zur Halbzeit zu erzwingen.
Wie viel Leistung verbraucht der Hailo-10H bei einem kleinen LLM?
Laut Hailos veröffentlichten Daten verbraucht der Hailo-10H im Schnitt 2,1 W bei Qwen2-1.5B-Instruct mit 9,45 Tok/s, bei 1,2 GB Speicherbedarf und einem 2.048-Token-KV-Cache, in einem M.2-Formfaktor unter 5 W.
Welche Rechenleistung liefert der NVIDIA Jetson AGX Thor?
Laut NVIDIA-Datenblatt liefert der Jetson AGX Thor (T5000) 2.070 TFLOPS FP4 sparse (1.035 TFLOPS FP4 dense, 517 TFLOPS FP8 dense) bei 40–130 W, mit 128 GB LPDDR5X-Speicher bei 273 GB/s über einen 256-Bit-Bus.
Sollte ich Gewichte, Aktivierungen oder den KV-Cache für eine Edge-NPU quantisieren?
In der Regel alle drei, innerhalb des Schemas, das der Compiler der Ziel-NPU akzeptiert. Statische, tensorweise Aktivierungsquantisierung und ein quantisierter KV-Cache sind die üblichen eingebetteten Standards, weil die meisten festverdrahteten NPU-Toolchains nur einen begrenzten, festen Satz an Schemata unterstützen — das akzeptierte Schema vor der Modellwahl klären.
Wann sollte ich Edge-Inferenz überhaupt nicht einsetzen?
Verzichten Sie auf Edge-Inferenz bei sprunghaften, selten genutzten Lasten mit zuverlässiger Konnektivität, bei Aufgaben, die tatsächlich Reasoning auf Spitzenniveau jenseits eines edge-tauglichen Modells erfordern, und bei Produkten ohne echte Datenschutz- oder Latenzbeschränkung, die Daten auf dem Gerät erzwingt.
Wie fange ich an, Edge-Rechenleistung für ein neues Produkt zu spezifizieren?
Legen Sie Leistungsbudget und geforderte Betriebsdauer fest, bevor Sie einen bestimmten Chip bewerten, formulieren Sie ein Joule-pro-Token-Ziel statt eines Tokens-pro-Sekunde-Ziels, klären Sie Speicherbandbreite und industriellen Temperaturbereich gegen die Produktanforderungen, und nutzen Sie dann das interaktive Auswahltool auf dieser Seite, um Kandidaten einzugrenzen, bevor Sie echte Hardware benchmarken.
Muss ich bei der Verwendung von Edge-AI-Hardware die DSGVO beachten?
Wenn das Edge-Produkt personenbezogene Daten verarbeitet (etwa Kamera- oder Sensordaten mit Personenbezug), gelten die DSGVO-Grundsätze unabhängig davon, ob die Inferenz lokal oder in der Cloud läuft. Lokale Inferenz kann die Erfüllung von Art. 28 DSGVO (Auftragsverarbeitung) erleichtern, da Rohdaten das Gerät oft gar nicht verlassen — das ersetzt aber keine eigene Datenschutz-Folgenabschätzung, und BSI-Grundschutz-Kataloge sollten für die IT-Sicherheitsseite des Produkts zusätzlich geprüft werden. Dies ist keine Rechtsberatung.
Ist diese Edge-AI-Hardwareauswahl für den deutschen Mittelstand geeignet?
Ja, insbesondere die integrierte-Edge-SoC-Klasse (NVIDIA-Jetson-Orin-Familie) und dedizierte M.2-Beschleuniger wie der Hailo-10H bieten für Mittelstandsunternehmen mit begrenztem Hardware-Team einen guten Einstieg: geringe Stücklistenkosten, verfügbare Entwicklungskits und Referenzdesigns senken die Einstiegshürde gegenüber einem vollständig kundenspezifischen ASIC. IEC-61508-Normen für funktionale Sicherheit sollten für Mittelstandsprodukte mit Maschinenbezug parallel zur Chipauswahl geprüft werden.