Open-Source Multi-Camera World Foundation Model

Valeo und NATIX Network haben eine Partnerschaft bekannt gegeben, um ein großskaliges, quelloffenes Multi-Kamera World Foundation Model (WFM) zu entwickeln. Dieses kombiniert generative Weltmodellierungsforschung mit dezentral erfassten Realweltdaten zur Unterstützung von Anwendungen für autonomes Fahren und Robotik der nächsten Generation.

Reale Daten als Grundlage für Physical AI
Fortschritte im autonomen Fahren und in der Robotik hängen zunehmend vom Zugang zu vielfältigen, hochwertigen Realweltdaten ab, die erfassen, wie sich Umgebungen im Laufe der Zeit verändern. World Foundation Models erweitern generative KI über Text und statische Wahrnehmung hinaus, indem sie die Dynamik der physischen Welt erlernen und Systemen ermöglichen, über Bewegung, Interaktionen sowie zukünftige Zustände in Raum und Zeit zu schlussfolgern.

Die Zusammenarbeit zwischen Valeo und NATIX adressiert diesen Bedarf, indem Valeos Forschung zu World Models mit dem dezentralen, fahrzeugbasierten Kameranetzwerk von NATIX kombiniert wird. NATIX betreibt eine verteilte Multi-Kamera-Datenerfassungsinfrastruktur, die kontinuierlich 360°-Fahrdaten aus Fahrzeugen in den USA, Europa und Asien sammelt. Nach Angaben der Partner hat dieses Netzwerk innerhalb von sieben Monaten mehr als 100.000 Stunden Multi-Kamera-Fahrdaten aufgezeichnet – was etwa 600.000 Stunden Videomaterial entspricht.

Von Wahrnehmung zu Vorhersage mit Multi-Kamera-Eingaben
Traditionelle Wahrnehmungsmodelle konzentrieren sich auf die Interpretation der aktuellen Szene, häufig unter Verwendung einzelner Frontkameras. Multi-Kamera-World-Models hingegen sind darauf ausgelegt, vorherzusagen, was als Nächstes passieren wird, indem sie räumlich-zeitliche Zusammenhänge über mehrere Blickwinkel hinweg erlernen.

Durch die Erweiterung von World Models von Einzel- auf Multi-Kamera-Eingaben soll KI-Systemen ein vollständigeres räumliches Verständnis vermittelt werden, vergleichbar mit dem in Serienfahrzeugen und Robotern eingesetzten. Diese Fähigkeit ist entscheidend, um komplexe Interaktionen vorherzusehen, Randfälle zu bewältigen und die Robustheit autonomer Entscheidungsfindung in realen Umgebungen zu verbessern.

Open-Source-Entwicklung und Forschungszugänglichkeit
Das im Rahmen der Partnerschaft entwickelte World Foundation Model wird als Open Source veröffentlicht. Dies umfasst nicht nur die trainierten Modelle, sondern auch Datensätze und Trainingswerkzeuge, sodass Forschende und Entwickler Modelle feinjustieren und die Leistungsfähigkeit von Physical AI in verschiedenen Regionen, Verkehrssituationen und Fahrbedingungen vergleichen können.

Die Initiative baut auf Valeos bestehender Open-Source-Forschung auf, darunter die Frameworks VaViM (Video Autoregressive Model) und VaVAM (Video-Action Model). Diese Modelle wurden bisher hauptsächlich mit großskaligen Frontkamera-Video-Datensätzen trainiert. Der Beitrag von NATIX in Form synchronisierter Multi-Kamera-Daten erweitert diese Basis und ermöglicht es den Modellen, aus reichhaltigerem räumlichen Kontext und realer Variabilität zu lernen.

Technische Differenzierung und Relevanz für den Einsatz
Ein zentrales technisches Unterscheidungsmerkmal des Ansatzes von Valeo und NATIX ist die Verankerung in kontinuierlich erfassten Multi-Kamera-Realweltdaten anstelle ausschließlich kuratierter oder simulierter Datensätze. Dadurch wird das Lernen aus seltenen oder unerwarteten Szenarien ermöglicht, die synthetisch schwer nachzubilden sind, für den sicheren autonomen Betrieb jedoch entscheidend sind.

Durch die Kombination generativer Modellierung mit dezentraler Datenerfassung im großen Maßstab zielt die Zusammenarbeit auf schnellere Iterationszyklen im Vergleich zu zentralisierten Datensammlungsansätzen ab, wie sie typischerweise von großen OEMs genutzt werden. Die Partner sehen darin einen Vorteil zur Beschleunigung der Entwicklung und Validierung von Physical-AI-Systemen.

Anwendungskontext
World Foundation Models entwickeln sich zu einem zentralen Baustein für autonome Fahrzeuge, Robotik und andere Systeme, die in dynamischen physischen Umgebungen operieren. Der von Valeo und NATIX verfolgte Open-Source-Multi-Kamera-Ansatz soll ein breiteres Forschungsökosystem unterstützen und gemeinsamen Fortschritt bei Vorhersage, Schlussfolgerung und Handeln in realen Umgebungen ermöglichen.

Langfristig könnten solche Modelle zu einer sichereren Einführung autonomer Technologien beitragen, indem sie die Antizipation von Bewegungen und Interaktionen verbessern und End-to-End-KI-Systeme unterstützen, die über reine Wahrnehmung hinaus zu prädiktiver, kontextbewusster Intelligenz gelangen.