Was ist AWS Inferentia?
AWS Inferentia ist eine von AWS entwickelte Chipfamilie für Deep-Learning-Inferenz. Die erste Generation bildet die Grundlage der Amazon-EC2-Inf1-Instanzen, die zweite Generation Inferentia2 die der Inf2-Instanzen.
Ziel der Chips ist eine kostengünstige Inferenz im Produktionsbetrieb. AWS gibt für Inf1-Instanzen einen bis zu 2,3-fach höheren Durchsatz und bis zu 70 Prozent geringere Kosten je Inferenz gegenüber vergleichbaren GPU-Instanzen an.
Kernfunktionen
- Inferentia (erste Generation): Vier NeuronCores und 8 GB DDR4 je Chip, Unterstützung für FP16, BF16 und INT8; Inf1-Instanzen mit bis zu 16 Chips
- Inferentia2: Zwei NeuronCores, 32 GB HBM je Chip und 190 TFLOPS bei FP16; Inf2-Instanzen mit bis zu zwölf Chips
- Erweiterte Datentypen: Inferentia2 unterstützt unter anderem FP32, TF32 und konfigurierbares FP8 sowie weitere Formate niedrigerer Genauigkeit
- Verteilte Inferenz: Inf2-Instanzen ermöglichen laut AWS Scale-out-Inferenz über eine sehr schnelle Verbindung zwischen den Chips
- AWS Neuron SDK: Native Integration in PyTorch und TensorFlow, automatische Umwandlung hochgenauer Modelle in Formate niedrigerer Genauigkeit
- Framework-Unterstützung: PyTorch, TensorFlow und MXNet
- Effizienz: Laut AWS bis zu 50 Prozent bessere Leistung pro Watt bei Inferentia2 gegenüber vergleichbaren EC2-Instanzen
Typische Anwendungsfälle
Große Sprachmodelle: AWS nennt Inferentia2 ausdrücklich als optimiert für große Sprachmodelle und Latent-Diffusion-Modelle.
Sprach- und Textverarbeitung: Natural Language Processing, maschinelle Übersetzung, Textzusammenfassung und Spracherkennung.
Bild- und Videogenerierung: Generative Bild- und Videoworkloads im Inferenzbetrieb.
Personalisierung und Betrugserkennung: Empfehlungssysteme und Betrugserkennung mit hohem Anfragevolumen.
Vorteile
- Bis zu 2,3-fach höherer Durchsatz und bis zu 70 Prozent geringere Kosten je Inferenz bei Inf1 gegenüber vergleichbaren GPU-Instanzen laut Anbieterangabe
- Deutliche Steigerungen bei Durchsatz und Latenz von Inferentia zu Inferentia2 laut AWS
- Vierfache Speicherkapazität je Chip bei Inferentia2 gegenüber Inferentia
- Bis zu 50 Prozent bessere Leistung pro Watt bei Inferentia2 laut Anbieterangabe
- Nutzung gängiger Frameworks über das Neuron SDK ohne Wechsel des Ökosystems
- Keine separate Preisposition, Abrechnung über die EC2-Inf-Instanzen
Integration mit innFactory
Als AWS Reseller unterstützt innFactory Sie bei AWS Inferentia: Bewertung Ihrer Inferenz-Workloads, Auswahl zwischen Inf1- und Inf2-Instanzen, Portierung der Modelle über das AWS Neuron SDK sowie Messung von Durchsatz, Latenz und Kosten gegenüber Ihrer bisherigen Umgebung.
Typische Anwendungsfälle
Technische Spezifikationen
Häufig gestellte Fragen
Was ist AWS Inferentia?
AWS Inferentia ist eine von AWS entwickelte Chipfamilie für Deep-Learning-Inferenz. Die erste Generation bildet die Grundlage der Amazon-EC2-Inf1-Instanzen, Inferentia2 die der Inf2-Instanzen.
Welche technischen Daten nennt AWS für die erste Generation?
Ein Inferentia-Chip der ersten Generation verfügt laut Produktseite über vier NeuronCores und 8 GB DDR4-Speicher und unterstützt die Datentypen FP16, BF16 und INT8. Inf1-Instanzen bieten bis zu 16 Inferentia-Chips. AWS gibt für Inf1 einen bis zu 2,3-fach höheren Durchsatz und bis zu 70 Prozent geringere Kosten je Inferenz gegenüber vergleichbaren GPU-Instanzen an.
Was zeichnet Inferentia2 aus?
Inferentia2 liefert laut Produktseite einen bis zu 4-fach höheren Durchsatz und eine bis zu 10-fach geringere Latenz gegenüber Inferentia. Jeder Chip verfügt über zwei NeuronCores, 32 GB HBM-Speicher, was dem Vierfachen von Inferentia entspricht, und 190 TFLOPS bei FP16. Unterstützt werden unter anderem FP32, TF32 und konfigurierbares FP8 sowie weitere Formate niedrigerer Genauigkeit. AWS nennt eine bis zu 50 Prozent bessere Leistung pro Watt gegenüber vergleichbaren EC2-Instanzen.
Wie viele Chips bieten Inf2-Instanzen?
Inf2-Instanzen bieten laut Produktseite bis zu zwölf Inferentia2-Chips und ermöglichen verteilte Inferenz mit sehr schneller Verbindung zwischen den Chips.
Wie werden Inferentia-Chips programmiert?
Über das AWS Neuron SDK. Es integriert sich laut Produktseite nativ in verbreitete ML-Frameworks wie PyTorch und TensorFlow, wandelt Modelle mit hoher Genauigkeit automatisch in Formate niedrigerer Genauigkeit um und optimiert die Ausführung. Als unterstützte Frameworks nennt die Seite PyTorch, TensorFlow und MXNet.
Für welche Workloads eignet sich Inferentia?
Die Produktseite nennt unter anderem Natural Language Processing, maschinelle Übersetzung, Textzusammenfassung, Video- und Bildgenerierung, Spracherkennung, Personalisierung und Betrugserkennung. Für Inferentia2 hebt AWS große Sprachmodelle und Latent-Diffusion-Modelle hervor.
Hinweis: Alle Produktinformationen auf dieser Seite wurden sorgfältig zusammengestellt, sind jedoch ohne Gewähr und können veraltet oder unvollständig sein. Cloud-Services entwickeln sich schnell weiter — Funktionen, Preise, SLAs und Verfügbarkeit ändern sich laufend. Verbindliche und aktuelle Informationen finden Sie ausschließlich auf der offiziellen Produktseite von AWS (offizielle Dokumentation). Diese Seite stellt kein Angebot von AWS dar.