World Models in der Robotik: Sind sie der nächste Schritt für Physical AI?

Vision-Language-Action-Modelle (VLA-Modelle) sind in den vergangenen Jahren zum Standardansatz für das Roboterlernen geworden. Doch der nächste Wandel hat schon begonnen. World Models sagen voraus, was als Nächstes passiert, bevor der Roboter handelt. Im RobTalk Podcast spricht Host Clemens, Principal Engineer von RobCo Autonomy, mit Felix Frank aus dem Robot-Intelligence-Team von RobCo. Die beiden klären, was World Models (auf Deutsch: Weltmodelle) sind, wie man sie baut und wo sie heute schon helfen. Dieser Artikel folgt ihrem Gespräch und ordnet ein, was das für Physical AI in der Industrie bedeutet.

Key Takeaways

• VLA-Modelle sind zum Standard geworden: Transformer können beliebige Sequenzdaten verarbeiten. Deshalb haben Robotik-Teams den Ansatz der Sprachmodelle auf Roboter übertragen und mit Imitationslernen kombiniert.
• Die Regelfrequenz ist der eigentliche Engpass: Ein Roboter muss 30 bis 100 Mal pro Sekunde über seine nächste Aktion entscheiden. Pro Entscheidung bleibt dabei sehr wenig Zeit, egal wie viel Kontext ein Modell theoretisch verarbeiten könnte.
• World Models sagen voraus, was als Nächstes passiert: Zwei Architekturen konkurrieren. Videogenerierung im Pixelraum lässt sich leicht prüfen, ist aber teuer. Die Vorhersage im Latent Space, einer komprimierten Darstellung, folgt dem Vorbild von JEPA. Sie arbeitet effizienter, lässt sich jedoch schwerer debuggen.
• Praxisnahe Anwendungen: World Models erzeugen synthetische Trainingsdaten, leiten Aktionen für eine gewünschte Zukunft ab und spielen mehrere Ergebnisse durch, bevor der Roboter handelt.
• Die Hardware ist der nächste Engpass: Tastsinn und Kraftmessung sind für manche Aufgaben fast so wichtig wie das Sehen. Außerdem müssen Sensoren wochenlang im Produktionseinsatz durchhalten.

Wie wurden Vision-Language-Action-Modelle zum Standard in der Robotik?

Gegen Ende 2022 übertrugen Robotik-Forschende eine Lehre aus den Sprachmodellen auf ihr Gebiet. Bis dahin trainierten Teams meist kleine Spezialmodelle für jeweils eine Aufgabe. Dann zeigte ChatGPT der breiten Öffentlichkeit, dass große Modelle, große Datenmengen und Skalierung echten Mehrwert schaffen. Frank erklärt, warum sich das auf Roboter übertragen ließ: „Robotikdaten sind für sich genommen auch sequenziell.“ Gelenkwerte, Kamerabilder, Kraftmessungen und Aufgabenbeschreibungen entstehen alle als Abfolgen über die Zeit, und Transformer sind genau für solche Daten gebaut.

Frühe Beispiele stammen aus Googles Robotik-Teams, darunter RT-1, PaLM-E und RT-2. Im Juli 2023 stellte Google DeepMind RT-2 als Vision-Language-Action-Modell vor, das sowohl aus Webdaten als auch aus Robotikdaten lernt. Seitdem gilt diese Modellklasse laut Frank als Goldstandard des Roboterlernens. Einen breiteren Überblick bietet der Beitrag zu KI in der Robotik.

Was steckt in einem VLA-Modell?

Im Kern erhält ein VLA-Modell eine Momentaufnahme des aktuellen Zustands. Bei einem üblichen Aufbau mit zwei Roboterarmen enthält sie die Gelenkwerte beider Arme. Hinzu kommen Bilder von Kameras an den Handgelenken und von einer festen Kopfkamera. Ein Sprachbefehl beschreibt das Ziel. Heraus kommt die nächste Aktion.

Welche Rolle spielt das Imitationslernen?

Parallel entstand ein zweiter Ansatz. Beim Imitationslernen zeigt ein Mensch dem Roboter eine Aufgabe, und das Modell lernt aus diesen Demonstrationen. Google DeepMinds ALOHA Unleashed trieb die Idee weit voran, und zwar mit einem bimanuellen Aufbau, also mit zwei Roboterarmen. Frank erinnert sich, dass 35 Operatoren über acht Monate Daten sammelten. Laut der Veröffentlichung wuchs der Datensatz auf mehr als 26.000 Demonstrationen, mit denen das Team eine Diffusion Policy trainierte.

Dabei zeigte sich auch die Grenze. Roboterdaten sind knapp und teuer in der Erhebung, vor allem Daten aus der Teleoperation. VLA-Modelle kombinieren Imitationslernen deshalb mit vortrainierten Vision-Language-Modellen als Grundgerüst (Backbone). Sie kennen weit mehr Texte und Bilder, als ein Roboter je selbst aufnehmen könnte.

Die ersten Ergebnisse waren beeindruckend, aber noch nicht praxistauglich. Bei Standardaufgaben im Labor erreichten solche Modelle im Zero-Shot-Betrieb, also ohne aufgabenspezifisches Training, etwa 30 bis 50 Prozent Erfolgsquote. Von den 90 Prozent und mehr, die für den praktischen Einsatz nötig sind, waren sie laut Frank weit entfernt.

Wie gehen Roboter mit Gedächtnis und Kontext um?

Eine einzelne Momentaufnahme reicht einem Roboter selten aus. Ingenieure nennen die dahinterliegende Idee die Markov-Annahme: Der aktuelle Zustand allein soll genügen, um vorherzusagen, wohin sich das System entwickelt. Frank veranschaulicht das Problem: „Man kann sich vorstellen, durch ein Labyrinth zu laufen, in dem alle Wände gleich aussehen.“ Ohne den Verlauf des bisherigen Wegs verliert der Roboter den Überblick über seine Position und seine Richtung.

Frank beschreibt drei Wege, ein Gedächtnis zu ergänzen:

• Beobachtungsverlauf: Das Modell sieht mehrere Bilder statt eines einzigen, zum Beispiel die Ansicht von vor einer halben und vor einer ganzen Sekunde. So erkennt es Bewegung und Richtung.
• Gedächtnis im Modell: Manche Forschungsansätze ergänzen eine Datenbank vergangener Erfahrungen, die das Modell während einer Aufgabe abfragen kann.
• Innerer Monolog: Ein übergeordnetes Vision-Language-Modell überwacht das untergeordnete Modell, schaut von Zeit zu Zeit nach und korrigiert es.

Für industrielle Aufgaben genügt oft eine einfachere Lösung. Steht die Abfolge einer Aufgabe vorab fest, kann ein klassischer Zustandsautomat das Umschalten übernehmen. Dieses regelbasierte Programm durchläuft festgelegte Schritte und wechselt den Sprachbefehl, sobald ein Teilschritt abgeschlossen ist.

Was begrenzt den Kontext in der Robotik wirklich?

Die Regelfrequenz begrenzt den Kontext in der Robotik, nicht die Kontextlänge. Moderne Transformer können ein ganzes Buch im Kontext halten. Der Haken ist die Geschwindigkeit. Frank sagt dazu: „Man braucht 30, 50 oder 100 Mal pro Sekunde eine neue Aktion.“ Das lässt sehr wenig Zeit für die Berechnung.

Ein Sprachmodell kann einen Satz 0,3 Sekunden später fertigstellen, ohne dass es jemand bemerkt. Bei einem Roboterarm wäre diese Verzögerung ein Problem. Deshalb arbeiten Roboter mit einer Schichtenarchitektur, in der jede Schicht nur so schnell läuft, wie ihre Aufgabe es verlangt:

Von oben nach unten gelesen, werden die Schichten langsamer, aber abstrakter. Die VLA-Schicht liegt in der Mitte: Sie muss die nahe Zukunft mitdenken und dabei ein knappes Zeitbudget einhalten. Wie die einzelnen Schichten ineinandergreifen, erklärt unser Artikel Wie autonome Roboter funktionieren.

Auch die Hardware setzt Grenzen. Ein Roboter trägt typischerweise nur ein bis zwei GPUs. Manche Teams stellen einen großen GPU-Cluster neben den Roboter und nehmen etwa 500 Millisekunden Latenz in Kauf. Das funktioniert, solange die schnelleren Schichten darunter die Bewegung stabil halten.

Frank weist darauf hin, dass viele Unternehmen, besonders in Deutschland, noch immer keine starken Internetverbindungen haben. Sich auf die Cloud zu verlassen, ist deshalb womöglich nicht die beste Lösung. Modelle direkt auf dem Roboter auszuführen, ist eine Form von Edge Computing.

Was ist ein World Model in der Robotik?

Auch Menschen unterliegen einem Zeitlimit. Clemens weist darauf hin, dass wir etwa 200 Millisekunden zum Reagieren brauchen. Frank ergänzt, dass wir trotzdem flüssig handeln. Wir haben ein Gespür dafür, wie sich die physische Welt verhält, und sagen voraus, was unsere Handlung bewirkt. Clemens nennt ein Beispiel: Wer sich einer gelben Ampel nähert, ahnt bereits, was als Nächstes passiert. World Models sollen Robotern diese Fähigkeit geben.

Ein World Model sagt voraus, wie sich eine Szene verändert, ausgehend vom aktuellen Zustand und einer beabsichtigten Aktion. Frank beschreibt es als ein Modell, das vom jetzigen Zustand des Systems aus in die Zukunft blickt. Im Jahr 2026 beobachtet er, dass viele von VLA-Modellen zu World Models und Videomodellen wechseln.

Die bekannteste Form ist das Videogenerierungsmodell. Man beschreibt eine Szene und was darin geschehen soll, und das Modell stellt sich vor, wie sie abläuft. Frank sieht darin ein starkes Argument für die Robotik. Ein realistisches Video setzt physikalisches Wissen voraus: „Diese Modelle müssen bis zu einem gewissen Grad Physik verstehen.“

Objekte müssen fallen, wenn nichts sie stützt. Beim Greifen wirken Kontakt und Kraft zwischen zwei Körpern. Vision-Language-Modelle kennen Physik aus Büchern und Bildern, ein Videomodell dagegen muss Schwerkraft und Kontakt aus Daten lernen. Dadurch erhält das Grundgerüst eine bessere Vorstellung davon, wie sich eine Szene entwickelt, argumentiert Frank.

Ist ein Sprachmodell auch ein World Model?

Clemens vertritt die These, dass auch ein Sprachmodell ein World Model ist. Beantwortet ein Sprachmodell die Frage nach der Stadt westlich von München mit Augsburg, trägt es bereits Wissen über die Welt in sich. Frank stimmt grundsätzlich zu. In der Praxis sei aber ein Videomodell für Roboter meist das nützlichere World Model, weil es verstehen muss, wie Objekte miteinander wechselwirken.

Pixelraum oder Latent Space: Wie entstehen World Models?

Zwei Architekturen konkurrieren, und beide haben überzeugte Anhänger.

Videogenerierung im Pixelraum

Der erste Ansatz ist die klassische Videogenerierung. Die eigentliche Erzeugung findet meist trotzdem in einem komprimierten Latent Space statt, erklärt Frank. Ein Decoder macht daraus Pixel, die Menschen sehen können. Der große Vorteil ist die Transparenz. Frank nennt diesen Ansatz „super einfach zu debuggen“: Sieht das Video gut aus, macht das Modell vermutlich seine Arbeit.

Der Preis ist die Rechenleistung. Für jedes Bild müssen Millionen von Werten erzeugt werden, und „Pixel vollständig vorherzusagen ist sehr teuer“, wie Frank anmerkt.

Vorhersage im Latent Space: der JEPA-Weg

Der zweite Ansatz ist von JEPA inspiriert, der Joint Embedding Predictive Architecture, die Yann LeCun 2022 vorgeschlagen hat. Statt zusätzlich zu lernen, die komprimierte Darstellung wieder in Pixel zurückzuverwandeln, lernt das Modell nur, Pixel zu einer nützlichen Darstellung zu verdichten. Das World Model entsteht dann komplett in diesem komprimierten Raum.

Die Kompression ist bewusst verlustbehaftet. Gelernte Konzepte, die für die Aufgabe zählen, bleiben erhalten, Details wie Schattierungen oder Hintergrundtexturen fallen weg. Frank ergänzt, dass auch pixelbasierte Videomodelle komprimieren: Sie bilden den Vordergrund detailreich ab und lassen den Hintergrund unscharf.

Der Nachteil: Ein reines Latent-Modell liefert nichts, was man sich ansehen könnte. Ein Modell, das sich in Pixel zurückübersetzen lässt, ist dagegen zugleich ein Videogenerator mit vielen weiteren Einsatzmöglichkeiten. Metas V-JEPA 2, 2025 veröffentlicht, zeigt, dass der Latent-Weg in der Forschung auch mit echten Robotern funktionieren kann. Meta hat es mit mehr als einer Million Stunden Internetvideo vortrainiert und mit weniger als 62 Stunden Roboterdaten nachtrainiert. Anschließend plante es Pick-and-Place-Aufgaben mit Roboterarmen in zwei Laboren, ohne aufgabenspezifisches Training.

Kurz gesagt: Modelle im Pixelraum tauschen Rechenaufwand gegen Transparenz, Modelle im Latent Space tauschen Transparenz gegen Tempo. Für einen Roboter, der viele Male pro Sekunde handeln muss, wiegt das Tempo besonders schwer.

Welcher Ansatz setzt sich durch?

Das weiß noch niemand. Auf die Frage, was sich in den nächsten sechs bis zwölf Monaten durchsetzt, antwortet Frank: „Ehrlich gesagt, das ist ein Blick in die Kristallkugel. Das wage ich nicht zu sagen.“ Beide Lager haben gute Argumente und überzeugte Anhänger. Aktuell landen mehr Modelle am Ende doch bei Pixeln, einfach weil es dafür ein gutes kommerzielles Argument gibt.

Wie nutzen Roboter World Models heute?

Frank nennt drei Hauptanwendungen. Jede macht die Vorhersage der Zukunft für den Roboter nutzbar.

Synthetische Trainingsdaten erzeugen

Teleoperations- oder Demonstrationsdaten zu sammeln, ist teuer. Ein World Model kann als Simulator dienen, in dem ein Roboter lernt. Dadurch kann sich der Bedarf an realen Daten verringern.

Die nötige Aktion für eine gewünschte Zukunft vorhersagen

Weiß ein Modell, wie die nächsten Sekunden ablaufen sollen, kann der Roboter ein inverses Dynamikmodell lernen. Aus der gewünschten zukünftigen Bahn leitet es ab, was jetzt zu tun ist, damit diese Zukunft eintritt. Das ist laut Frank ein deutlich leichteres Lernproblem, als zu entscheiden, was zu tun ist, ohne zu wissen, wie die Zukunft aussehen soll.

Clemens vergleicht das mit dem Aufräumen einer Küche. Man stellt sich vor, wie der Raum danach aussehen soll, und gleicht dann die Wirklichkeit diesem Bild an. Viele aktuelle Modelle, ergänzt Frank, sagen gar keine Pixel voraus. Sie sagen in einem komprimierten Raum voraus und geben dieses Wissen an ein weiteres Modell weiter, das die Aktionen erzeugt. Wer auf Pixel verzichtet, erreicht eine höhere Ausführungsfrequenz, und die ist in der Robotik entscheidend.

Mehrere Ergebnisse simulieren, bevor der Roboter handelt

Die dritte Anwendung behandelt das World Model als Planer. In Franks Worten schaut man sich „eine Reihe möglicher Zukünfte an und entscheidet dann, welche man haben möchte“. Anschließend handelt der Roboter entsprechend.

Möglich machen das moderne Modelle auf Basis von Diffusion oder Flow Matching. Ältere Ansätze mittelten über mögliche Zukünfte und lieferten unscharfe Ergebnisse. Clemens nennt das klassische Beispiel eines Stifts, der auf der Spitze balanciert: Niemand kann vorhersagen, in welche Richtung er fällt. Flow Matching geht damit besser um. An jedem Entscheidungspunkt legt sich das Modell auf eine Option fest und folgt ihr. Zieht man zweimal eine Stichprobe, entstehen womöglich zwei verschiedene Zukünfte, doch jede ist in sich stimmig.

Was brauchen Roboter außer dem Sehen?

Die meisten VLA-Modelle arbeiten mit Gelenkwerten und Kamerabildern. Frank beobachtet, dass Teams weitere Eingaben ergänzen, etwa Tiefe, Tastsinn und Kraft. Für die Interaktion mit der Umgebung können diese Sinne fast so wichtig sein wie das Sehen. Man denke ans Aufschließen einer Tür: „Es gibt viel, was man als Mensch sogar blind erledigen kann.“ Der Tastsinn führt den Schlüssel zum Schlüsselloch.

Weiche Objekte wie Kabel oder Seile machen den Punkt noch deutlicher. Frank argumentiert, diese Sinne seien „gleich wichtig oder fast so wichtig wie das Sehen“. Immer mehr Modelle bekommen deshalb zusätzliche Eingaben, um zu prüfen, ob sich die Leistung verbessert.

Was ist der nächste Engpass nach den Modellen?

Bessere Modelle sind nur die halbe Geschichte. Das Gespräch macht deutlich, dass Maschinenbau und Elektrotechnik der nächste große Engpass sind. Roboter müssen wochenlang im Produktionsumfeld durchhalten, und Sensoren dürfen weder ausfallen noch abdriften. Viele dieser Probleme sind ungelöst, und es gibt zu wenige Produkte, die sie angehen.

Frank sieht das genauso: „Hardware ist im Grunde genauso wichtig wie die Intelligenz drumherum.“ Deshalb entwickelt RobCo beides gemeinsam, von modularen Robotern bis zur KI, die sie steuert.

Was bedeutet das für die Fertigung von heute?

Das Tempo des Wandels ist hoch. Laut Frank bekommt das Team „alle drei Monate neue Modelle mit neuen Fähigkeiten“, sei es über Partner oder die Open-Source-Community. Das Modell, das RobCo zu Jahresbeginn nutzte, wurde vom heutigen klar übertroffen.

Um mitzuhalten, verfolgt das Robot-Intelligence-Team Forschungspapiere und Ankündigungen anderer Unternehmen. Zweimal pro Woche kommt die Gruppe zusammen, um Experimente vorzuschlagen, durchzuführen, zu dokumentieren und auszuwerten. Das Team legt die Ergebnisse so ab, dass ein KI-Agent später nachschlagen kann, was schon getestet wurde. Ideen, die sich bewähren, fließen ins Produkt.

Das Ziel ist Verlässlichkeit statt Demos. Frank bringt es auf den Punkt. „Unser Ziel ist es wirklich, diese Modelle so weit zu bringen, dass wir sie rund um die Uhr im Betrieb einsetzen können.“

World Models sind einer von mehreren Trends, die das Team verfolgt. Für Fertigungsunternehmen zählt vor allem, was in der Produktion zuverlässig läuft.

Die autonomen Industrieroboter von RobCo automatisieren in Fabriken schon heute Aufgaben wie Maschinenbeschickung, Palettieren und Materialumschlag. Auch Bin Picking und Sortieren in unstrukturierten Umgebungen übernehmen sie. Mit RobFlow, der No-Code-Programmiersoftware von RobCo, richten Mitarbeitende in der Produktion neue Aufgaben ein, ohne Robotik-Vorkenntnisse zu benötigen.

Möchten Sie sehen, wie autonome Industrieroboter in Ihrer Produktion aussehen könnten? Sprechen Sie unser Team an.

Häufig gestellte Fragen

Was ist ein World Model in der Robotik?

Ein World Model in der Robotik ist ein Modell, das vorhersagt, wie sich eine Szene verändert, ausgehend vom aktuellen Zustand und einer beabsichtigten Aktion. Videogenerierungsmodelle sind die häufigste Form. Um realistische Ergebnisse vorherzusagen, müssen sie grundlegende Physik lernen, etwa Schwerkraft und Kontakt zwischen Objekten.

Was ist der Unterschied zwischen einem VLA-Modell und einem World Model?

Ein Vision-Language-Action-Modell ordnet Kamerabildern, Gelenkwerten und einem Sprachziel direkt die nächste Roboteraktion zu. Dagegen sagt ein World Model voraus, wie sich die Szene entwickelt. Neuere Ansätze verbinden beides: Sie prognostizieren die Zukunft und leiten daraus die Aktion ab, die dorthin führt.

Was unterscheidet World Models im Pixelraum von denen im Latent Space?

Modelle im Pixelraum erzeugen vollständige Videobilder. Das macht sie leicht überprüfbar, aber rechenintensiv. Modelle im Latent Space, etwa nach dem JEPA-Ansatz, sagen in einer komprimierten Darstellung voraus. Sie laufen schneller und brauchen weniger Rechenleistung, lassen sich aber schwerer debuggen, weil es kein Video zum Prüfen gibt.

Wie schnell müssen Roboter Entscheidungen treffen?

Roboter brauchen in der Regel 30 bis 100 Mal pro Sekunde eine neue Aktion. Vision-Language-Action-Modelle laufen oft mit 30 bis 100 Hz, klassische Steuerungen im Kilohertz-Bereich. Ein übergeordnetes Vision-Language-Modell meldet sich etwa einmal pro Sekunde. Die Regelfrequenz, nicht die Kontextlänge, ist der eigentliche Engpass.

Brauchen Roboter einen Tastsinn?

Für manche Aufgaben ja. Tastsinn und Kraftmessung können fast so wichtig sein wie das Sehen. Beispiele sind der Umgang mit weichen Objekten wie Kabeln oder Seilen oder das Finden eines Schlüssellochs, ohne hinzusehen. Forschungsteams ergänzen ihre Modelle deshalb um Tiefen-, Tast- und Kraftdaten.

Was können autonome Industrieroboter heute in Fabriken leisten?

Autonome Industrieroboter übernehmen in Fabriken schon heute unstrukturierte Aufgaben, darunter Maschinenbeschickung, Palettieren, Materialumschlag sowie Bin Picking und Sortieren in unstrukturierten Umgebungen. RobCo entwickelt Hardware und Software gemeinsam und will diese Roboter rund um die Uhr einsetzen, angepasst an den Anwendungsfall jedes Kunden.