Waymo stellt EMMA vor, ein End-to-End-Multimodalmodell für autonomes Fahren

• EMMA: End-to-End Multimodal Model for Autonomous Driving
• Nutzt Googles multimodales LLM Gemini, um direkt aus Sensordaten die zukünftige Fahrzeugtrajektorie zu erzeugen
• Durch auf autonomes Fahren spezialisiertes Training und Fine-Tuning wird das Verständnis von Verkehrssituationen verbessert

Zentrale Forschungsinhalte

• Zeigt, wie multimodale Modelle auf autonomes Fahren angewendet werden können
• Untersucht die Vor- und Nachteile des End-to-End-Ansatzes
• Hebt die Vorteile der Nutzung multimodalen Weltwissens hervor
  • Hilft auch bei Aufgaben des autonomen Fahrens, die räumliches Verständnis und Schlussfolgerungsvermögen erfordern
• Belegt positive Transfer-Learning-Effekte für mehrere zentrale Aufgaben des autonomen Fahrens
  • Gemeinsames Lernen von Routenplanung, Objekterkennung und Verständnis des Straßengraphen verbessert die Leistung gegenüber separatem Training
  • Deutet darauf hin, dass die Integration weiterer Kernaufgaben des autonomen Fahrens auf ähnliche Weise eine vielversprechende Forschungsrichtung ist

Einführung in EMMA

• EMMA spiegelt den KI-Forschungstrend wider, große multimodale Lernmodelle und -techniken in mehr Bereiche zu integrieren
• Basierend auf Gemini wurde ein auf Aufgaben des autonomen Fahrens spezialisiertes Modell entwickelt, etwa für Routenplanung und 3D-Objekterkennung

Wesentliche Merkmale:

1. End-to-End-Lernen
   • Verarbeitet Kameraeingaben und Textdaten, um verschiedene Ausgaben wie Routen, erkannte Objekte und Elemente des Straßengraphen zu erzeugen
2. Integrierter Sprachraum
   • Stellt nicht-sensorische Ein- und Ausgaben als natürlichsprachlichen Text dar, um Geminis Weltwissen maximal zu nutzen
3. Chain-of-Thought-Reasoning
   • Verbessert durch Chain-of-Thought-Reasoning den Entscheidungsprozess, steigert die End-to-End-Planungsleistung um 6,7 % und liefert interpretierbare Begründungen für Fahrentscheidungen

Wichtigste Ergebnisse

• Erreicht Spitzenergebnisse in öffentlichen und internen Benchmarks
  • Bei End-to-End-Routenplanung, kamerabasierter 3D-Objekterkennung, Vorhersage von Straßengraphen und Szenenverständnis
• Die Leistung verbessert sich durch gemeinsames Lernen
  • Ein einziges EMMA-Modell erzeugt gleichzeitig Ausgaben für mehrere Aufgaben und zeigt eine mit einzeln trainierten Modellen vergleichbare oder bessere Leistung
  • Zeigt das Potenzial als allgemeines Modell für viele Anwendungen des autonomen Fahrens

Einschränkungen

• Die Verarbeitung langer Videosequenzen ist begrenzt, was die Schlussfolgerung in Echtzeit-Fahrsituationen erschwert
  • Langzeitgedächtnis ist essenziell
• Nutzt keine LiDAR- oder Radar-Eingaben
  • Die Integration ausgefeilter 3D-Sensing-Encoder ist erforderlich
• Es bestehen Herausforderungen bei effizienten Simulationsmethoden, optimierten Modell-Inferenzzeiten und der Validierung von Zwischenstufen der Entscheidungsfindung

Ausblick

• EMMA hat zwar Grenzen als eigenständiges Fahrmodell, zeigt aber, dass multimodale Technik die Leistung und Generalisierungsfähigkeit autonomer Fahrsysteme verbessern kann
• Durch die Anwendung fortschrittlicher KI-Technik auf reale Aufgaben werden die Fähigkeiten von KI auf komplexe und dynamische Umgebungen ausgeweitet
• KI kann auch in anderen wichtigen Bereichen hilfreich sein, in denen auf Basis vielfältiger Eingaben schnelle und präzise Entscheidungen unter Unsicherheit nötig sind
• Durch die Erforschung des Einsatzpotenzials multimodaler großer Sprachmodelle im autonomen Fahren soll zu mehr Verkehrssicherheit und besserer Zugänglichkeit beigetragen werden
• Es wird erwartet, dass dies zur Weiterentwicklung von KI beiträgt, die komplexe reale Umgebungen effektiver erkunden und daraus Schlussfolgerungen ziehen kann

Meinung von GN⁺

• EMMA ist eine Studie, die einen wichtigen Meilenstein für die Weiterentwicklung autonomer Fahrtechnik darstellen könnte
  • Sie zeigt die Stärken multimodalen Lernens sehr gut
  • Sie belegt, dass die Integration mehrerer Kernaufgaben des autonomen Fahrens zur Leistungssteigerung beiträgt
• Auch wenn es noch Grenzen für den direkten Einsatz im realen Fahrbetrieb gibt, dürfte die Arbeit eine gute Referenz für die Entwicklung verwandter Technologien sein
  • Insbesondere Langzeitgedächtnis, multimodale Fusion und Simulationsoptimierung sind Bereiche, die künftig verstärkt erforscht werden sollten
• Es ist zu erwarten, dass multimodale KI-Technik nicht nur beim autonomen Fahren, sondern auch in Bereichen wie Medizin, Fertigung und Katastrophenhilfe eingesetzt werden kann
  • Besonders hilfreich dürfte sie in Bereichen sein, in denen Datenformen vielfältig sind und Entscheidungen eine zentrale Rolle spielen
• Allerdings könnten aufgrund der Blackbox-Eigenschaften multimodaler Modelle Fragen der Erklärbarkeit und Ethik stärker in den Vordergrund rücken
  • Wichtig wird sein, Verzerrungen im Modell zu minimieren und Begründungen für die Ausgaben bereitzustellen
• Ähnliche Forschungsarbeiten sind etwa NVIDIAs DriveNet, Wayves AV2.0 und Teslas FSD
  • Jedes Unternehmen verfolgt einen etwas anderen Ansatz, nutzt aber gemeinsam multimodales Lernen
  • Es ist zu erwarten, dass sich die Technik des autonomen Fahrens durch Wettbewerb und Zusammenarbeit zwischen den Unternehmen weiterentwickelt