Jäljittelyoppimisen harjoituskohteet: miksi identtiset kuutiot päihittävät kotitalousesineet

Kun käytät satunnaisten kotitalousesineiden sijaan samanlaisia värillisiä puukuutioita, ensimmäinen imitaatio-oppimisen datasettisi on helpompi tallentaa, johdonmukaisempi ja nopeampi kouluttaa, koska robotti näkee jokaisessa kuvassa saman muodon ja samat reunat. Kun koulutat LeRobotilla poimi ja aseta -policyn SO-ARM101-robottikädelle, koulutusesineiden valinta ratkaisee, konvergoituuko policy 30 jaksossa vai epäonnistuuko se vielä 100 jakson jälkeenkin. Tässä oppaassa kerrotaan, miksi muodon, painon ja värin johdonmukaisuus on tärkeää ja mitkä esineet sopivat parhaiten ensimmäiseen datasettiisi.

Miksi kotitalousesineet vaikeuttavat koulutusta

Satunnaiset kotitalousesineet vaikuttavat käytännöllisiltä: muki, pullo, kaukosäädin. Ne ovat saatavilla, ilmaisia ja edustavat tosielämän tehtäviä. Ensimmäisessä datasetissä ne aiheuttavat kuitenkin kolme ongelmaa, jotka estävät policyja oppimasta.

Ensinnäkin muodon epäjohdonmukaisuus. Mukissa on kaareva kahva ja pyöreä reuna, pullossa kapea kaula. Kun tallennat 30 jaksoa eri esineillä, robotin kamerat näkevät 30 eri muotoa. Policyn täytyy oppia paitsi tarttumaan, myös tunnistamaan, mikä esine kussakin jaksossa näkyy. Se kaksinkertaistaa monimutkaisuuden.

Toiseksi painon vaihtelu. Täysi vesipullo painaa 600 grammaa, tyhjä muki 150 grammaa. Robotin servot käyttävät eri vääntömomentin kunkin esineen nostamiseen. ACT ja Diffusion Policy oppivat nivelten asennoista ja vääntömomenteista, joten painon epäjohdonmukaisuus lisää kohinaa toimintatilaan. Policy konvergoituu hitaammin tai ei lainkaan.

Kolmanneksi visuaalinen epäselvyys. Kotitalousesineiden reunat eivät ole selkeitä. Sileä muovipullo heijastaa valoa eri tavalla kulmasta riippuen, eikä robotin rannekamera pysty havaitsemaan, mihin pullo päättyy ja mistä tausta alkaa. Epäselvillä esineillä koulutetut policyt oppivat usein ohittamaan tartuntakohdan muutaman millimetrin, jolloin tarttuja kaataa esineen sen sijaan, että poimisi sen.

Ensimmäisessä datasetissä haluat poistaa kaikki kolme ongelmaa. Käytä yhtä esinettä, toistettuna 30 kertaa. Esineessä pitäisi olla teräviä reunoja, tasainen paino eikä heijastavia pintoja.

Millainen on hyvä koulutusesine

Hyvällä imitaatio-oppimisen koulutusesineellä on neljä ominaisuutta: geometrinen yksinkertaisuus, visuaalinen kontrasti, painon vakaus ja tartuttavuus. Puukuutiot täyttävät kaikki neljä.

Geometrinen yksinkertaisuus tarkoittaa, että esineessä on tasaiset sivut ja suorat reunat. Robotin kamerat havaitsevat reunat gradienttien avulla, ja suorat reunat tuottavat vahvoja, johdonmukaisia gradientteja. Kuutio näyttää samalta kuudesta suunnasta. Pallo tai sylinteri näyttää erilaiselta sen mukaan, miten se on käännetty, mikä lisää epäselvyyttä.

Visuaalinen kontrasti tarkoittaa, että esine erottuu taustasta. Kirkkaanväriset kuutiot neutraalilla työalustalla muodostavat selkeät rajat, jotka konenäkömalli havaitsee helposti. Beige esine puupöydällä sulautuu taustaan, ja policy oppii etsimään esinettä sen sijaan, että ojentuisi suoraan sitä kohti.

Painon vakaus tarkoittaa, että jokainen kuutio painaa saman verran. Poimi ja aseta -tehtävässä painon johdonmukaisuus poistaa yhden muuttujan. Robotin servot käyttävät samaa vääntömomenttia joka jaksossa, ja policy oppii liikkeen ilman, että sen täytyy kompensoida tuntematonta painoa.

Tartuttavuus tarkoittaa, että esine sopii tarttujaan eikä pyöri. Kuutio pysyy tasaisesti paikallaan, kun sitä lähestytään. Pallo vierii, kun siihen kosketaan, ja sen paikka muuttuu lähestymisen ja tartunnan välillä. Policy oppii, että esine liikkuu arvaamattomasti, ja konvergenssi hidastuu.

Ominaisuus	Puukuutiot	Kotitalousesineet	Miksi kuutiot voittavat
Muodon johdonmukaisuus	Identtiset	Vaihtelee (muki vs. pullo)	Policy näkee samat reunat
Painon johdonmukaisuus	±5 g	±200 g	Vääntömomentin kohina vähenee
Visuaalinen kontrasti	10 väriä, matta	Usein neutraali tai kiiltävä	Selkeä havaitseminen
Vakaus	Pysyy tasaisesti, ei vieri	Vierii, kaatuu, liukuu	Tartuntakohta pysyy kiinteänä

Robot Training Props -sarja sisältää 100 puukuutiota 10 värissä sekä 10×10-alustan. Jokainen kuutio on 2 cm:n kokoinen ja painaa noin 8 grammaa. Ensimmäiseen datasettiin käytä yhtä väriä ja aseta kuutio joka kerta samaan paikkaan.

Datasetin tallentaminen identtisillä kuutioilla

Merkitse aloituspaikka teipillä. Aseta yksi kuutio merkin kohdalle ennen jokaista jaksoa. Käytä alustaa käyttämättömien kuutioiden säilytykseen ja kohdepaikan määrittämiseen. Alustan ruudukko antaa vertailupisteet johdonmukaiseen sijoitteluun.

Kun tallennat 30 jaksoa identtisillä kuutioilla, jokainen kuva näyttää samankaltaiselta. Rannekamera näkee saman kuution muodon ja värin. Yläkamera näkee saman aloituspaikan. Policy oppii liikekuvion oppimatta esineen tunnistusta.

30 jakson jälkeen ACT:n tai Diffusion Policyn pitäisi osoittaa oppimisen merkkejä: robotti liikkuu kuutiota kohti, sulkee tarttujan ja nostaa. Jos näin käy, tallenna vielä 20 jaksoa liikkeen hiomiseksi. Jos ei, tarkista, että kuution sijoittelu on johdonmukainen. Katso viisi satunnaista jaksoa ja varmista, että kuutio alkaa täsmälleen samasta kohdasta.

Ensimmäisessä koulutuksessa yksivärinen kuutiodatasetti konvergoituu nopeammin kuin monivärinen. Kun sinulla on toimiva policy, voit tallentaa toisen datasetin useilla väreillä yleistämiskyvyn testaamiseksi. Mutta ensimmäisissä 30 jaksossa käytä yhtä väriä ja poista kaikki muut muuttujat paitsi liike.

SO-ARM101 First Training Kit yhdistää Starter-käsipaketin ja koulutusesineet, joten sekä robotti että esineet ovat valmiina tallennukseen. Kameran kiinnitystä varten katso yläkameran pöytävarsi ja LeRobotin kameran asennusopas.

Milloin käyttää kotitalousesineitä

Kun ensimmäinen policysi toimii kuutioilla, voit siirtyä kotitalousesineisiin. Siinä vaiheessa ymmärrät, miten johdonmukaiset datasetit käyttäytyvät, ja osaat selvittää esineiden vaihtelusta johtuvia virheitä.

Aloita esineillä, joilla on yksi yhteinen ominaisuus kuutioiden kanssa: pieni rasia, domino, Lego-palikka. Tallenna 30 jaksoa yhdellä esinetyypillä. Jos policy oppii, lisää toinen esinetyyppi ja tallenna 30 jaksoa lisää. Jos se epäonnistuu, esine on liian erilainen, ja tarvitset lisää demonstraatioita tai yksinkertaisemman esineen.

Kotitalousesineet sopivat myös kahden käden tehtäviin tai dynaamiseen manipulointiin, joissa monimutkaisuus on liikkeessä, ei esineessä. Poimi ja aseta -tehtävässä aloita yksinkertaisesti ja lisää monimutkaisuutta vasta, kun perustaso toimii.

Yleisiä virheitä koulutusesineiden kanssa

Useiden esinetyyppien käyttö ensimmäisessä datasetissä pirstoo koulutusdatan. Jos tallennat 10 jaksoa kuutiolla, 10 pullolla ja 10 mukilla, policy näkee kunkin esinetyypin vain 10 kertaa. Kymmenen demonstraatiota ei riitä tartuntakuvion oppimiseen. Tallenna ensin 30 jaksoa yhdellä esineellä.

Esineen satunnainen sijoittelu estää policya oppimasta lähestymisreittiä. Jos kuutio on joka jaksossa eri paikassa, policyn täytyy oppia etsimään esine ennen tarttumista. Se vaatii yli 100 jaksoa. Ensimmäisessä datasetissä kiinnitä aloituspaikka ja opeta policy liikkumaan, ei etsimään.

Läpinäkyvien tai heijastavien esineiden käyttö hämmentää konenäkömallia. Kirkkaat muovipullot ja kiiltävät metallitölkit heijastavat taustaa ja robotin tarttujaa. Malli ei pysty erottamaan esinettä ympäristöstään. Käytä mattapintaisia, läpinäkymättömiä, yksivärisiä esineitä.

Ensimmäisen datasetin jälkeen

Kun policysi poimii kuution luotettavasti, kokeile eriväristä kuutiota. Jos se toimii, policy yleisti värin muutokseen. Jos se epäonnistuu, väri oli osa sitä, mitä policy oppi, ja sinun täytyy tallentaa monivärinen datasetti.

Seuraavaksi vaihtele aloituspaikkaa hieman: siirrä kuutiota 2 cm vasemmalle, oikealle, eteen tai taakse. Tallenna viisi jaksoa kussakin paikassa. Jos policy mukautuu, se oppi tartuntaliikkeen. Jos se toimii vain alkuperäisessä paikassa, se opetteli koordinaatit ulkoa, ja tarvitset monipuolisempia demonstraatioita.

Monimutkaisempiin tehtäviin kotitalousesineet tulevat lopulta tarpeellisiksi. Mutta ensimmäisessä datasetissä identtiset kuutiot poistavat kaikki esteet paitsi itse liikkeen, ja liike on se, minkä haluat policyn oppivan.

Osia ja koulutusvälineitä löydät robottikäsien osien ja tarvikkeiden kokoelmasta. Datasetin tallennustyönkulusta katso opas ensimmäisen LeRobot-datasetin tallentamiseen.

UKK

Voinko käyttää koulutukseen Lego-palikoita puukuutioiden sijaan?

Kyllä, Lego-palikat toimivat hyvin, jos ne ovat samankokoisia ja samanvärisiä. Käytä 2×2- tai 2×4-palikoita, älä levyjä, koska levyt ovat useimmille tarttujille liian ohuita. Lego-palikoiden terävät reunat ja johdonmukainen geometria vastaavat puukuutioita. Puukuutioiden tärkein etu on paino: Lego-palikat ovat kevyempiä ja voivat siirtyä tarttujan sulkeutuessa, mutta jos tarttujasi on hellä, Lego-palikat ovat ilmainen vaihtoehto.

Tarvitsenko eri esineet ACT:lle ja Diffusion Policylle, vai toimivatko kummatkin kuutioilla?

Sekä ACT että Diffusion Policy toimivat identtisillä kuutioilla. ACT oppii hieman nopeammin yksinkertaisilla, johdonmukaisilla dataseteillä, joten kuutiot sopivat ACT:lle erinomaisesti. Diffusion Policy sietää enemmän vaihtelua ja hyötyy monipuolisista esineistä ensimmäisen datasetin jälkeen, mutta se konvergoituu myös kuutioilla. Aloita kuutioilla kummallakin; kun sinulla on toimiva policy, monipuolista esineitä yleistämiskyvyn testaamiseksi.

Jos policyni oppii poimimaan punaisen kuution, toimiiko se sinisellä kuutiolla ilman uudelleenkoulutusta?

Se riippuu siitä, kuinka paljon konenäkömalli nojaa väriin. Jos koulutit vain punaisilla kuutioilla, policy on voinut oppia, että punainen kuuluu esineen määritelmään, ja se ohittaa siniset kuutiot. Testaa asettamalla sininen kuutio samaan paikkaan ja ajamalla policy. Jos se ojentuu oikein mutta ohittaa tartunnan, se yleisti. Jos se ei liiku kuutiota kohti lainkaan, se oppi värin piirteeksi. Korjaa tallentamalla monivärinen datasetti: 30 jaksoa satunnaisilla väreillä koulutusesinesarjasta.