Trainingsobjekte für Imitation Learning: warum identische Würfel Haushaltsgegenständen überlegen sind

Wenn Sie für Ihren ersten Imitation-Learning-Datensatz identische farbige Holzwürfel statt zufälliger Haushaltsgegenstände verwenden, lässt er sich leichter aufnehmen, ist konsistenter und trainiert schneller, weil der Roboter in jedem Bild dieselbe Form und dieselben Kanten sieht. Wenn Sie mit LeRobot auf einem SO-ARM101-Roboterarm eine Pick-and-Place-Policy trainieren, entscheidet die Wahl der Trainingsobjekte darüber, ob Ihre Policy nach 30 Episoden konvergiert oder nach 100 scheitert. Dieser Leitfaden erklärt, warum Konsistenz bei Form, Gewicht und Farbe wichtig ist und welche Objekte sich für Ihren ersten Datensatz am besten eignen.

Warum Haushaltsgegenstände das Training erschweren

Zufällige Haushaltsgegenstände wirken praktisch: eine Tasse, eine Flasche, eine Fernbedienung. Sie sind vorhanden, kostenlos und repräsentativ für reale Aufgaben. Für Ihren ersten Datensatz führen sie jedoch drei Probleme ein, die verhindern, dass Policies lernen.

Erstens: uneinheitliche Formen. Eine Tasse hat einen geschwungenen Henkel und einen runden Rand, eine Flasche einen schmalen Hals. Wenn Sie 30 Episoden mit verschiedenen Objekten aufnehmen, sehen die Kameras des Roboters 30 verschiedene Formen. Die Policy muss dann nicht nur lernen, wie man greift, sondern auch, welches Objekt in der jeweiligen Episode erscheint. Das verdoppelt die Komplexität.

Zweitens: schwankendes Gewicht. Eine volle Wasserflasche wiegt 600 Gramm, eine leere Tasse 150 Gramm. Die Servos des Roboters bringen für jedes Objekt ein anderes Drehmoment auf. ACT und Diffusion Policy lernen aus Gelenkpositionen und Drehmomenten, daher bringt uneinheitliches Gewicht Rauschen in den Aktionsraum. Die Policy konvergiert langsamer oder gar nicht.

Drittens: visuelle Mehrdeutigkeit. Haushaltsgegenstände haben keine klaren Kanten. Eine glatte Plastikflasche reflektiert das Licht je nach Winkel anders, und die Handgelenkkamera des Roboters kann nicht erkennen, wo die Flasche endet und der Hintergrund beginnt. Auf mehrdeutigen Objekten trainierte Policies verfehlen den Greifpunkt oft um einige Millimeter, sodass der Greifer das Objekt umstößt, statt es aufzunehmen.

Für Ihren ersten Datensatz sollten Sie alle drei Probleme ausschließen. Verwenden Sie ein einziges Objekt und wiederholen Sie es 30-mal. Das Objekt sollte scharfe Kanten, ein gleichbleibendes Gewicht und keine reflektierenden Oberflächen haben.

Was ein gutes Trainingsobjekt ausmacht

Ein gutes Trainingsobjekt für Imitation Learning hat vier Eigenschaften: geometrische Einfachheit, visuellen Kontrast, Gewichtsstabilität und Greifbarkeit. Holzwürfel erfüllen alle vier.

Geometrische Einfachheit bedeutet, dass das Objekt ebene Flächen und gerade Kanten hat. Die Kameras des Roboters erkennen Kanten anhand von Gradienten, und gerade Kanten erzeugen starke, gleichmäßige Gradienten. Ein Würfel sieht aus allen sechs Blickrichtungen gleich aus. Eine Kugel oder ein Zylinder sieht je nach Drehung anders aus, was Mehrdeutigkeit schafft.

Visueller Kontrast bedeutet, dass sich das Objekt vom Hintergrund abhebt. Leuchtend farbige Würfel auf einer neutralen Arbeitsfläche erzeugen klare Grenzen, die das Bildverarbeitungsmodell leicht erkennt. Ein beiges Objekt auf einem Holztisch verschwimmt mit dem Untergrund, und die Policy lernt, nach dem Objekt zu suchen, statt direkt danach zu greifen.

Gewichtsstabilität bedeutet, dass jeder Würfel gleich viel wiegt. Bei einer Pick-and-Place-Aufgabe entfällt dadurch eine Variable. Die Servos des Roboters bringen in jeder Episode dasselbe Drehmoment auf, und die Policy lernt die Bewegung, ohne ein unbekanntes Gewicht ausgleichen zu müssen.

Greifbarkeit bedeutet, dass das Objekt in den Greifer passt und nicht rollt. Ein Würfel liegt flach und bewegt sich nicht, wenn man sich ihm nähert. Eine Kugel rollt bei Berührung weg und verändert ihre Position zwischen Annäherung und Griff. Die Policy lernt dann, dass sich das Objekt unvorhersehbar bewegt, und die Konvergenz verlangsamt sich.

Eigenschaft	Holzwürfel	Haushaltsgegenstände	Warum Würfel gewinnen
Formkonsistenz	Identisch	Unterschiedlich (Tasse vs. Flasche)	Die Policy sieht dieselben Kanten
Gewichtskonsistenz	±5 g	±200 g	Weniger Drehmomentrauschen
Visueller Kontrast	10 Farben, matt	Oft neutral oder glänzend	Klare Erkennung
Stabilität	Liegt flach, rollt nicht	Rollt, kippt, rutscht	Fester Greifpunkt

Das Set Robot Training Props enthält 100 Holzwürfel in 10 Farben mit einem 10×10-Tablett. Jeder Würfel misst 2 cm und wiegt etwa 8 Gramm. Verwenden Sie für einen ersten Datensatz eine Farbe und legen Sie den Würfel jedes Mal an dieselbe Stelle.

Einen Datensatz mit identischen Würfeln aufnehmen

Markieren Sie die Startposition mit Klebeband. Legen Sie vor jeder Episode einen Würfel auf die Markierung. Nutzen Sie das Tablett, um nicht benötigte Würfel aufzubewahren und die Zielposition festzulegen. Das Raster des Tabletts liefert Bezugspunkte für eine gleichbleibende Platzierung.

Wenn Sie 30 Episoden mit identischen Würfeln aufnehmen, sieht jedes Bild ähnlich aus. Die Handgelenkkamera sieht dieselbe Würfelform und -farbe. Die Overhead-Kamera sieht dieselbe Startposition. Die Policy lernt das Bewegungsmuster, ohne Objekterkennung lernen zu müssen.

Nach 30 Episoden sollten ACT oder Diffusion Policy erste Lernerfolge zeigen: Der Roboter bewegt sich auf den Würfel zu, schließt den Greifer und hebt an. Ist das der Fall, nehmen Sie 20 weitere Episoden auf, um die Bewegung zu verfeinern. Wenn nicht, prüfen Sie, ob die Würfelplatzierung konsistent ist. Sehen Sie sich fünf zufällige Episoden an und vergewissern Sie sich, dass der Würfel exakt an derselben Stelle startet.

Beim ersten Training konvergiert ein Datensatz mit einfarbigen Würfeln schneller als ein mehrfarbiger. Sobald Sie eine funktionierende Policy haben, können Sie einen zweiten Datensatz mit mehreren Farben aufnehmen, um die Generalisierung zu testen. Verwenden Sie aber für die ersten 30 Episoden eine Farbe und eliminieren Sie jede Variable außer der Bewegung.

Das SO-ARM101 First Training Kit bündelt das Starter-Armkit mit den Trainingsobjekten, sodass Roboter und Objekte für die Aufnahme bereitstehen. Zur Kamerabefestigung siehe den Tischarm für die Overhead-Kamera und die Anleitung zur LeRobot-Kameraeinrichtung.

Wann Haushaltsgegenstände sinnvoll sind

Sobald Ihre erste Policy mit Würfeln funktioniert, können Sie auf Haushaltsgegenstände umsteigen. Dann wissen Sie, wie sich konsistente Datensätze verhalten, und können Fehler diagnostizieren, die durch Objektvariation entstehen.

Beginnen Sie mit Objekten, die eine Eigenschaft mit Würfeln teilen: eine kleine Schachtel, ein Dominostein, ein Lego-Stein. Nehmen Sie 30 Episoden mit einem Objekttyp auf. Lernt die Policy, fügen Sie einen zweiten Objekttyp hinzu und nehmen weitere 30 Episoden auf. Scheitert sie, ist das Objekt zu verschieden, und Sie brauchen mehr Demonstrationen oder ein einfacheres Objekt.

Haushaltsgegenstände eignen sich auch für bimanuelle Aufgaben oder dynamische Manipulation, bei denen die Komplexität in der Bewegung liegt und nicht im Objekt. Beginnen Sie bei Pick-and-Place einfach und erhöhen Sie die Komplexität erst, wenn die Baseline funktioniert.

Häufige Fehler bei Trainingsobjekten

Mehrere Objekttypen im ersten Datensatz zersplittern die Trainingsdaten. Nehmen Sie 10 Episoden mit einem Würfel, 10 mit einer Flasche und 10 mit einer Tasse auf, sieht die Policy jeden Objekttyp nur 10-mal. Zehn Demonstrationen reichen nicht, um ein Greifmuster zu lernen. Nehmen Sie zuerst 30 Episoden mit einem einzigen Objekt auf.

Eine zufällige Platzierung des Objekts hindert die Policy daran, den Annäherungsweg zu lernen. Erscheint der Würfel in jeder Episode an einer anderen Stelle, muss die Policy lernen, das Objekt vor dem Greifen zu suchen. Das erfordert über 100 Episoden. Legen Sie für Ihren ersten Datensatz die Startposition fest und bringen Sie der Policy bei, sich zu bewegen und nicht zu suchen.

Transparente oder reflektierende Objekte verwirren das Bildverarbeitungsmodell. Klare Plastikflaschen und glänzende Metalldosen spiegeln den Hintergrund und den Greifer des Roboters. Das Modell kann das Objekt nicht von seiner Umgebung trennen. Verwenden Sie matte, undurchsichtige Objekte mit einfarbiger Oberfläche.

Nach Ihrem ersten Datensatz

Sobald Ihre Policy einen Würfel zuverlässig aufnimmt, probieren Sie einen Würfel in einer anderen Farbe. Funktioniert das, hat die Policy Farbwechsel generalisiert. Scheitert es, war die Farbe Teil des Gelernten, und Sie müssen einen mehrfarbigen Datensatz aufnehmen.

Variieren Sie als Nächstes die Startposition leicht: Verschieben Sie den Würfel 2 cm nach links, rechts, vorn oder hinten. Nehmen Sie an jeder Position fünf Episoden auf. Passt sich die Policy an, hat sie die Greifbewegung gelernt. Funktioniert sie nur an der ursprünglichen Position, hat sie die Koordinaten auswendig gelernt, und Sie brauchen vielfältigere Demonstrationen.

Für komplexere Aufgaben werden Haushaltsgegenstände irgendwann notwendig. Für Ihren ersten Datensatz räumen identische Würfel jedoch jedes Hindernis außer der Bewegung selbst aus dem Weg, und die Bewegung soll die Policy ja lernen.

Teile und Trainingswerkzeug finden Sie in der Kollektion Roboterarm-Teile und -Zubehör. Zum Ablauf der Datensatzaufnahme siehe die Anleitung zur Aufnahme Ihres ersten LeRobot-Datensatzes.

FAQ

Kann ich zum Training Lego-Steine statt Holzwürfeln verwenden?

Ja, Lego-Steine funktionieren gut, wenn sie dieselbe Größe und Farbe haben. Verwenden Sie 2×2- oder 2×4-Steine, keine Platten, da Platten für die meisten Greifer zu dünn sind. Die scharfen Kanten und die einheitliche Geometrie von Lego-Steinen entsprechen denen von Holzwürfeln. Der Hauptvorteil von Holzwürfeln ist das Gewicht: Lego-Steine sind leichter und können sich beim Schließen des Greifers verschieben, aber wenn Ihr Greifer sanft zufasst, sind Lego-Steine eine kostenlose Alternative.

Brauche ich für ACT und Diffusion Policy unterschiedliche Objekte, oder funktionieren beide mit Würfeln?

Sowohl ACT als auch Diffusion Policy funktionieren mit identischen Würfeln. ACT lernt auf einfachen, konsistenten Datensätzen etwas schneller, daher sind Würfel für ACT ideal. Diffusion Policy kommt mit mehr Variation zurecht und profitiert von vielfältigen Objekten, sobald Sie über den ersten Datensatz hinausgehen, konvergiert aber ebenfalls mit Würfeln. Beginnen Sie bei beiden mit Würfeln; haben Sie eine funktionierende Policy, variieren Sie die Objekte, um die Generalisierung zu testen.

Wenn meine Policy lernt, einen roten Würfel aufzunehmen, funktioniert sie dann ohne erneutes Training auch mit einem blauen Würfel?

Das hängt davon ab, wie stark sich das Bildverarbeitungsmodell auf die Farbe stützt. Wenn Sie nur mit roten Würfeln trainiert haben, hat die Policy möglicherweise gelernt, dass Rot Teil der Objektdefinition ist, und ignoriert blaue Würfel. Legen Sie zum Testen einen blauen Würfel an dieselbe Position und führen Sie die Policy aus. Greift sie korrekt danach, verfehlt aber den Griff, hat sie generalisiert. Bewegt sie sich gar nicht auf den Würfel zu, hat sie die Farbe als Merkmal gelernt. Nehmen Sie zur Abhilfe einen mehrfarbigen Datensatz auf: 30 Episoden mit zufälligen Farben aus dem Training-Props-Set.