Cvičné předměty pro imitační učení: proč identické kostky porážejí běžné předměty z domácnosti

Použijete-li místo náhodných předmětů z domácnosti stejné barevné dřevěné kostky, bude se váš první dataset pro imitační učení snáze nahrávat, bude konzistentnější a trénink bude rychlejší, protože robot vidí v každém snímku stejný tvar a stejné hrany. Když trénujete policy pro úlohu „vezmi a polož“ v LeRobotu na robotickém rameni SO-ARM101, výběr tréninkových předmětů rozhoduje o tom, zda policy zkonverguje za 30 epizod, nebo selže i po 100. Tento průvodce vysvětluje, proč záleží na konzistenci tvaru, hmotnosti a barvy a které předměty se pro první dataset hodí nejlépe.

Proč předměty z domácnosti ztěžují trénink

Náhodné předměty z domácnosti se zdají praktické: hrnek, láhev, dálkový ovladač. Jsou po ruce, zdarma a představují úlohy z reálného světa. Pro první dataset ale přinášejí tři problémy, které brání policy v učení.

Za prvé nekonzistentní tvar. Hrnek má zakřivené ucho a kruhový okraj, láhev úzké hrdlo. Když nahrajete 30 epizod s různými předměty, kamery robota uvidí 30 různých tvarů. Policy se musí naučit nejen uchopit, ale také rozpoznat, který předmět se v dané epizodě objevil. To zdvojnásobuje složitost.

Za druhé proměnlivá hmotnost. Plná láhev s vodou váží 600 gramů, prázdný hrnek 150 gramů. Servomotory robota vyvíjejí při zvedání každého předmětu jiný krouticí moment. ACT i Diffusion Policy se učí z poloh a momentů kloubů, takže nekonzistentní hmotnost přidává do prostoru akcí šum. Policy konverguje pomaleji, nebo vůbec.

Za třetí vizuální nejednoznačnost. Předměty z domácnosti nemají zřetelné hrany. Hladká plastová láhev odráží světlo různě podle úhlu a kamera na zápěstí robota nepozná, kde láhev končí a kde začíná pozadí. Policy natrénované na nejednoznačných předmětech se často naučí minout bod úchopu o několik milimetrů, takže chapadlo předmět převrhne místo toho, aby jej zvedlo.

Pro první dataset chcete odstranit všechny tři problémy. Použijte jeden předmět opakovaný 30krát. Předmět by měl mít ostré hrany, stálou hmotnost a žádné odrazivé povrchy.

Čím se dobrý tréninkový předmět vyznačuje

Dobrý tréninkový předmět pro imitační učení má čtyři vlastnosti: geometrickou jednoduchost, vizuální kontrast, stálou hmotnost a dobrou uchopitelnost. Dřevěné kostky splňují všechny čtyři.

Geometrická jednoduchost znamená, že předmět má ploché stěny a rovné hrany. Kamery robota detekují hrany pomocí gradientů a rovné hrany vytvářejí silné, konzistentní gradienty. Kostka vypadá stejně ze šesti stran. Koule nebo válec vypadá různě podle natočení, což přidává nejednoznačnost.

Vizuální kontrast znamená, že se předmět odlišuje od pozadí. Jasně barevné kostky na neutrálním pracovním povrchu vytvářejí zřetelné hranice, které model vidění snadno detekuje. Béžový předmět na dřevěném stole splývá s okolím a policy se naučí předmět hledat místo toho, aby se k němu natáhla přímo.

Stálá hmotnost znamená, že každá kostka váží stejně. U úlohy „vezmi a polož“ konzistentní hmotnost eliminuje jednu proměnnou. Servomotory robota vyvíjejí v každé epizodě stejný moment a policy se naučí pohyb, aniž by musela kompenzovat neznámou hmotnost.

Uchopitelnost znamená, že předmět pasuje do chapadla a nekutálí se. Kostka leží rovně a při přiblížení se nehýbe. Koule se při dotyku skutálí, takže se její poloha mezi přiblížením a uchopením změní. Policy se naučí, že se předmět pohybuje nepředvídatelně, a konvergence se zpomalí.

Vlastnost	Dřevěné kostky	Předměty z domácnosti	Proč kostky vyhrávají
Konzistence tvaru	Identické	Různé (hrnek vs. láhev)	Policy vidí stejné hrany
Konzistence hmotnosti	±5 g	±200 g	Menší šum v momentu
Vizuální kontrast	10 barev, matné	Často neutrální nebo lesklé	Zřetelná detekce
Stabilita	Leží rovně, nekutálí se	Kutálí se, naklání, klouže	Pevný bod úchopu

Sada Robot Training Props obsahuje 100 dřevěných kostek v 10 barvách a podnos 10×10. Každá kostka měří 2 cm a váží asi 8 gramů. Pro první dataset použijte jednu barvu a kostku pokaždé umístěte na stejné místo.

Nahrávání datasetu s identickými kostkami

Označte výchozí polohu páskou. Před každou epizodou položte jednu kostku na značku. Podnos používejte k uložení nepoužitých kostek a k vymezení cílové polohy. Mřížka podnosu poskytuje referenční body pro konzistentní umístění.

Když nahrajete 30 epizod s identickými kostkami, každý snímek vypadá podobně. Kamera na zápěstí vidí stejný tvar a barvu kostky. Horní kamera vidí stejnou výchozí polohu. Policy se naučí vzorec pohybu, aniž by se učila rozpoznávat předměty.

Po 30 epizodách by ACT nebo Diffusion Policy měly vykazovat známky učení: robot se pohybuje ke kostce, zavírá chapadlo a zvedá. Pokud ano, nahrajte dalších 20 epizod k vyladění pohybu. Pokud ne, zkontrolujte, zda je umístění kostky konzistentní. Prohlédněte si pět náhodných epizod a ověřte, že kostka začíná přesně na stejném místě.

Při prvním tréninku konverguje dataset s jednobarevnými kostkami rychleji než vícebarevný. Až budete mít funkční policy, můžete nahrát druhý dataset s více barvami a otestovat generalizaci. Ale pro prvních 30 epizod použijte jednu barvu a odstraňte všechny proměnné kromě pohybu.

SO-ARM101 First Training Kit spojuje sadu ramene Starter s tréninkovými předměty, takže máte připraveného robota i předměty k nahrávání. K upevnění kamery viz stolní rameno pro horní kameru a průvodce nastavením kamer pro LeRobot.

Kdy použít předměty z domácnosti

Až bude vaše první policy s kostkami fungovat, můžete přejít na předměty z domácnosti. V tu chvíli už chápete, jak se konzistentní datasety chovají, a dokážete diagnostikovat selhání způsobená variabilitou předmětů.

Začněte předměty, které mají s kostkami společnou jednu vlastnost: malá krabička, kostka domina, kostka Lego. Nahrajte 30 epizod s jedním typem předmětu. Pokud se policy učí, přidejte druhý typ předmětu a nahrajte dalších 30 epizod. Pokud selže, je předmět příliš odlišný a potřebujete více demonstrací nebo jednodušší předmět.

Předměty z domácnosti se hodí i pro úlohy se dvěma rameny nebo dynamickou manipulaci, kde složitost spočívá v pohybu, nikoli v předmětu. U úlohy „vezmi a polož“ začněte jednoduše a složitost přidávejte až poté, co základ funguje.

Časté chyby u tréninkových předmětů

Použití více typů předmětů v prvním datasetu roztříští tréninková data. Pokud nahrajete 10 epizod s kostkou, 10 s láhví a 10 s hrnkem, policy uvidí každý typ předmětu jen 10krát. Deset demonstrací nestačí k naučení vzorce úchopu. Nejprve nahrajte 30 epizod s jedním předmětem.

Náhodné umístění předmětu brání policy v naučení dráhy přiblížení. Pokud se kostka objevuje v každé epizodě na jiném místě, musí se policy naučit předmět před uchopením hledat. To vyžaduje 100+ epizod. Pro první dataset zafixujte výchozí polohu a učte policy pohybovat se, ne hledat.

Průhledné nebo odrazivé předměty model vidění mate. Čiré plastové láhve a lesklé kovové plechovky odrážejí pozadí i chapadlo robota. Model nedokáže oddělit předmět od okolí. Používejte matné, neprůhledné předměty v jednolitých barvách.

Po prvním datasetu

Jakmile vaše policy spolehlivě zvedne kostku, zkuste kostku jiné barvy. Pokud to funguje, policy zobecnila změnu barvy. Pokud selže, barva byla součástí toho, co se naučila, a je třeba nahrát vícebarevný dataset.

Dále mírně měňte výchozí polohu: posuňte kostku o 2 cm doleva, doprava, dopředu nebo dozadu. Nahrajte pět epizod na každé pozici. Pokud se policy přizpůsobí, naučila se pohyb úchopu. Pokud funguje jen na původní pozici, zapamatovala si souřadnice a potřebujete rozmanitější demonstrace.

Pro složitější úlohy se předměty z domácnosti nakonec stanou nezbytnými. Ale pro první dataset identické kostky odstraní všechny překážky kromě samotného pohybu, a právě pohyb chcete, aby se policy naučila.

Díly a tréninkové pomůcky najdete v kolekci dílů a příslušenství pro robotická ramena. K postupu nahrávání datasetu viz průvodce nahráním prvního datasetu pro LeRobot.

Časté dotazy

Mohu k tréninku použít místo dřevěných kostek kostky Lego?

Ano, kostky Lego fungují dobře, pokud jsou stejně velké a stejné barvy. Používejte kostky 2×2 nebo 2×4, ne ploché desky, protože ty jsou pro většinu chapadel příliš tenké. Ostré hrany a konzistentní geometrie kostek Lego odpovídají dřevěným kostkám. Hlavní výhodou dřevěných kostek je hmotnost: kostky Lego jsou lehčí a při zavření chapadla se mohou posunout, ale pokud je vaše chapadlo šetrné, jsou kostky Lego bezplatnou alternativou.

Potřebuji pro ACT a Diffusion Policy různé předměty, nebo fungují obě s kostkami?

ACT i Diffusion Policy fungují s identickými kostkami. ACT se na jednoduchých, konzistentních datasetech učí o něco rychleji, takže kostky jsou pro ACT ideální. Diffusion Policy zvládá větší variabilitu a po prvním datasetu profituje z rozmanitých předmětů, ale s kostkami také zkonverguje. Pro obě začněte s kostkami; až budete mít funkční policy, předměty zdiverzifikujte a otestujte generalizaci.

Když se moje policy naučí zvedat červenou kostku, bude fungovat i s modrou bez přetrénování?

Záleží na tom, jak moc se model vidění spoléhá na barvu. Pokud jste trénovali jen na červených kostkách, policy se mohla naučit, že červená je součástí definice předmětu, a modré kostky bude ignorovat. Test: umístěte modrou kostku na stejné místo a spusťte policy. Pokud se natáhne správně, ale úchop mine, zobecnila. Pokud se ke kostce vůbec nepohne, naučila se barvu jako rys. Řešením je nahrát vícebarevný dataset: 30 epizod s náhodnými barvami ze sady tréninkových předmětů.