Neural Architecture Search der Gemini Enterprise Agent Platform durchsucht sehr große Räume möglicher Modellarchitekturen nach der besten Kombination aus Genauigkeit und Randbedingungen wie Latenz oder Speicherbedarf.
Was ist Neural Architecture Search?
Mit Agent Platform Neural Architecture Search suchen Sie nach optimalen neuronalen Architekturen im Hinblick auf Genauigkeit, Latenz, Speicherbedarf, eine Kombination davon oder eine eigene Metrik. Der Suchraum kann bis zu 10^20 mögliche Architekturentscheidungen umfassen.
Die Technik hat laut Dokumentation in den vergangenen Jahren mehrere State-of-the-Art-Computer-Vision-Modelle hervorgebracht, darunter NASNet, MnasNet, EfficientNet, NAS-FPN und SpineNet.
Google beschreibt das Werkzeug ausdrücklich als Experimentierwerkzeug: Es ist keine Lösung, bei der allein das Einbringen eigener Daten gute Ergebnisse erwarten lässt.
Kernfunktionen
- Sehr große Suchräume: Bis zu 10^20 Architekturentscheidungen
- Mehrere Optimierungsziele: Genauigkeit mit oder ohne Randbedingungen wie Latenz, Speicherbedarf oder eigene Metriken
- Zweistufiges Vorgehen: Stage-1-Suche über Proxy-Tasks, anschließend vollständiges Training der zehn besten Modelle
- Anpassbare Suchräume: Eigene Suchräume und Rewards lassen sich definieren; die Anpassung ist laut Dokumentation in etwa ein bis zwei Tagen möglich
- Vorgefertigte Bausteine: Vorgefertigte visuelle Suchräume und Trainer, etwa für MnasNet
Typische Anwendungsfälle
Architektursuche für Computer Vision
Nutzung der vorgefertigten visuellen Suchräume und Trainer, um Modellarchitekturen für Bildaufgaben zu optimieren.
Optimierung unter Randbedingungen
Suche nach Architekturen, die neben Genauigkeit auch Latenz- oder Speichervorgaben einhalten.
Eigene, nicht-visuelle Suchräume
Einbringen eigener Suchräume und Trainer für Aufgaben außerhalb der Bildverarbeitung.
Vorteile
- Zeitersparnis bei großen Suchräumen: Laut Dokumentation lassen sich bei vorhandener Suchraumidee mindestens etwa sechs Monate Engineering-Zeit für die Exploration großer Suchräume einsparen
- Hohe Anpassbarkeit: Anders als Supernet-Ansätze (One-Shot-NAS beziehungsweise Weight-Sharing-NAS) sind Suchräume und Rewards weitgehend frei definierbar
- Kontrolle über den Ablauf: Die Suche kann jederzeit manuell gestoppt werden
- Transparente Kostenplanung: Die Dokumentation beschreibt Beispielläufe mit Trial-Anzahl, GPU-Typ, Kontingentbedarf und Laufzeit
Integration mit innFactory
Als zertifizierter Google Cloud Partner unterstützt innFactory Sie bei Neural Architecture Search: Bewertung der Eignung für Ihren Anwendungsfall, Definition des Suchraums, Kontingentplanung und Auswertung der Trials.
Typische Anwendungsfälle
Technische Spezifikationen
Häufig gestellte Fragen
Was ist Neural Architecture Search?
Mit Neural Architecture Search der Agent Platform suchen Sie laut Dokumentation nach optimalen neuronalen Architekturen im Hinblick auf Genauigkeit, Latenz, Speicherbedarf, eine Kombination davon oder eine eigene Metrik. Der Suchraum möglicher Architekturentscheidungen kann bis zu 10^20 groß sein.
Für wen ist Neural Architecture Search geeignet?
Die Dokumentation beschreibt das Werkzeug als hochwertiges Optimierungswerkzeug und Experimentierwerkzeug, nicht als Lösung, bei der man lediglich eigene Daten einbringt und gute Ergebnisse erwarten kann. Empfohlen wird ein internes Team für das Modell-Tuning mit Grundverständnis für die anzupassenden Architekturparameter, etwa Kernelgröße, Kanalanzahl oder Verbindungen. Google richtet das Angebot an Enterprise-Kunden, die mehrere tausend US-Dollar für ein Experiment aufwenden können.
Wofür ist Neural Architecture Search nicht gedacht?
Laut Dokumentation ist es nicht für Hyperparameter-Tuning gedacht, etwa für Lernrate oder Optimizer-Einstellungen, sondern ausschließlich für die Architektursuche; beides sollte nicht kombiniert werden. Bei wenig Trainingsdaten oder stark unausgewogenen Datensätzen mit sehr seltenen Klassen wird es nicht empfohlen. Zunächst sollten traditionelle Methoden wie Hyperparameter-Tuning ausgeschöpft werden.
Wie läuft eine Suche ab?
Mit steigender Anzahl der Trials findet der Controller zunehmend bessere Modelle; Reward-Varianz und Reward-Zuwachs nehmen ab, bis Konvergenz eintritt. Die Anzahl der Trials bis zur Konvergenz hängt von der Größe des Suchraums ab und liegt in der Größenordnung von etwa 2.000 Trials. Jeder Trial ist als kleinere Variante eines vollständigen Trainings angelegt, ein sogenannter Proxy-Task, der etwa ein bis zwei Stunden auf zwei Nvidia-V100-GPUs läuft. Nach der Suche werden die zehn besten Trials ausgewählt und vollständig trainiert.
Ist Neural Architecture Search auf Computer Vision beschränkt?
Nein. Die Dokumentation weist darauf hin, dass Neural Architecture Search nicht auf Vision-Anwendungsfälle beschränkt ist. Derzeit werden vorgefertigte Suchräume und Trainer nur für visuelle Aufgaben bereitgestellt, Kundinnen und Kunden können jedoch eigene nicht-visuelle Suchräume und Trainer einbringen.
Hinweis: Alle Produktinformationen auf dieser Seite wurden sorgfältig zusammengestellt, sind jedoch ohne Gewähr und können veraltet oder unvollständig sein. Cloud-Services entwickeln sich schnell weiter — Funktionen, Preise, SLAs und Verfügbarkeit ändern sich laufend. Verbindliche und aktuelle Informationen finden Sie ausschließlich auf der offiziellen Produktseite von Google Cloud (offizielle Dokumentation). Diese Seite stellt kein Angebot von Google Cloud dar.
