Ensimmäisen LeRobot-datasetin tallentaminen SO-ARM101:llä: 30 jaksoa

LeRobot-datasetin tallentaminen tarkoittaa leader-käden fyysistä liikuttamista, kun follower-käsi toistaa liikkeen ja kamerat tallentavat toiminnan, jolloin syntyy demonstraatioita, joita tekoälymalli oppii toistamaan. SO-ARM101-robottikätisarjalla tai vastaavalla kokoonpanolla voit kerätä 30 jaksoa poimi ja aseta -tehtävästä noin tunnissa, mikä riittää ensimmäisen käytännön koulutuksen aloittamiseen. Tämä opas olettaa, että olet jo ajanut komennot lerobot-calibrate ja lerobot-teleoperate.

Mitä datasetin jakso sisältää

LeRobot-dataset on hakemisto aikaleimattuja havaintoja ja toimintoja. Jokainen jakso on yksi täydellinen demonstraatio: siirry kuutioon, sulje tarttuja, nosta, siirry kohteeseen, avaa tarttuja, palaa neutraaliin. Tallenne sisältää nivelasennot, vääntömomentit ja kamerakuvat.

LeRobot tallentaa jaksot Parquet-tiedostoina. 30 jakson dataset vie 2–5 GB kameran resoluutiosta ja jakson pituudesta riippuen. Johdonmukaiset demonstraatiot tekevät käytännöistä helpommin koulutettavia.

Datasetin parametri	Suositus ensimmäiselle datasetille	Miksi
Tehtävä	Poimi kuutio, aseta kiinteään kohteeseen	Yksinkertainen, toistettava, ei epäselvyyttä
Jaksot	30	Riittää, että ACT tai Diffusion Policy näyttää oppimisen merkkejä
Jakson pituus	15–30 sekuntia	Kattaa liikkeen ilman liiallista joutoaikaa
Kameran resoluutio	480p ranne, 1080p yläkamera	Tasapainottaa tiedostokoon ja visuaalisen tarkkuuden
Kuvataajuus	30 fps	LeRobotin vakio, vastaa servojen päivitystaajuutta

Tehtävän valinta ja työtilan valmistelu

Ensimmäisessä datasetissäsi tulisi olla yksi esine, kiinteä kohde eikä häiriötekijöitä. Värillinen puinen kuutio toimii hyvin: selkeät reunat, ei vierii, ja kohteen voi merkitä teipillä. Harjoitusvälinesarjassa on 100 kuutiota ja alusta tasaisen sijoittelun varmistamiseksi.

Jos aloitat tyhjästä, SO-ARM101 First Training Kit yhdistää Starter-käden ja harjoitusvälineet, joten sinulla on kaikki tarvittava ensimmäisen datasetin tallentamiseen: robotti, 100 värillistä kuutiota ja sijoitusalusta. Tämä on nopein tapa päästä pakkauksen avaamisesta 30 jakson tallentamiseen.

Aseta kuutio samaan aloituskohtaan jokaisessa jaksossa. Merkitse se teipillä. Aseta kohde ulottuville, riittävän kauas näkyvän liikkeen osoittamiseksi mutta riittävän lähelle nivelrajojen välttämiseksi. Testaa ensin komennolla lerobot-teleoperate.

Asenna kamerat ennen tallennusta. Käytä yläkameran pöytäpuomia yläkameran asemointiin johdonmukaisesti. Pidä kamerat paikallaan jaksojen välillä kohinan vähentämiseksi.

Datasetin tallentaminen komennolla lerobot-record

Luo uusi dataset LeRobot CLI:llä:

bash lerobot-record \ --robot-path lerobot/configs/robot/so101.yaml \ --repo-id your-username/pick-cube-v1 \ --single-task pick_cube \ --num-episodes 30 \ --warmup-time-s 3 \ --episode-time-s 30 \ --reset-time-s 5

Korvaa your-username/pick-cube-v1 Hugging Face -käyttäjänimelläsi ja datasetin nimellä. Jokaisessa jaksossa sinulla on kolme sekuntia kuution asettamiseen, 30 sekuntia tehtävän suorittamiseen ja viisi sekuntia nollaukseen.

Lämmittelyn aikana aseta kuutio ja siirrä leader-käsi neutraaliin. Kun tallennus alkaa, suorita tehtävä sujuvasti: siirry kuutioon, sulje tarttuja, nosta, siirry kohteeseen, avaa tarttuja, palaa neutraaliin. Vältä äkillisiä nykäisyjä; käytäntö oppii liiketyylistäsi.

Jos pudotat kuution tai osut nivelrajaan, paina Ctrl+C ohittaaksesi kyseisen jakson ja tallenna se uudelleen. Uudelleentallennus on nopeampaa kuin huonolla datalla kouluttaminen.

Kuinka monta jaksoa tarvitset

Kolmekymmentä jaksoa on käytännöllinen lähtökohta yksinkertaisille tehtäville. ACT ja Diffusion Policy voivat oppia 30–50 demonstraatiosta, jos tehtävä on johdonmukainen. Monimutkaiset tehtävät, joissa on useita esineitä tai vaihtelevia sijainteja, vaativat 50–200 jaksoa.

Jos käytäntö suorittaa tehtävän 30 jakson koulutuksen jälkeen kahdesti peräkkäin, olet saanut kuvion talteen. Jos se epäonnistuu joka kerta, tallenna 20 jaksoa lisää. Alle 20 jakson datasetit toimivat harvoin, ellei tehtävä ole triviaali.

Tallennusnopeus paranee harjoituksella. Ensimmäiset kymmenen jaksoasi kestävät pidempään, kun hiot liikettä ja kamerakulmia. Jaksoon 20 mennessä kunkin demonstraation pitäisi kestää alle kaksi minuuttia.

Yleiset virheet

Epäjohdonmukaiset aloitusasennot saavat käytännöt epäonnistumaan. Jos asetat kuution joka kerta hieman eri kohtaan, käytäntö oppii, että sijainti vaihtelee, eikä konvergoi. Käytä viitemerkkiä ja aseta kuutio täsmälleen samaan kohtaan.

Tallennus tarttuja jo suljettuna ohittaa lähestymis- ja tartuntavaiheen. Aloita jokainen jakso tarttuja auki ja leader-käsi neutraalissa.

Liian nopea tallennus aiheuttaa liikesumeutta. Liiku sujuvasti samalla nopeudella kuin nostaisit muggin. Jos kuvat sumenevat, hidasta.

Tallennuksen jälkeen

Lähetä dataset Hugging Faceen komennolla huggingface-cli upload. Tarkista datasetin sivulta, että kaikki jaksot latautuivat oikein. Koulutus kestää GPU:lla 2–12 tuntia. Aloita ACT:llä, jos olet epävarma; se kouluttuu nopeammin kuin Diffusion Policy ja toimii hyvin poimi ja aseta -tehtävissä.

Jos käytäntösi ei opi 30 jakson jälkeen, tallenna 20 lisää ja tarkista johdonmukaisuus: katso satunnaisia jaksoja videosoittimessa ja varmista, että liikerata näyttää samanlaiselta. Epäjohdonmukaiset demonstraatiot aiheuttavat koulutuksen epäonnistumisen.

Osia ja lisävarusteita löydät robottikäden osien ja lisävarusteiden kokoelmasta. Kameroiden kiinnitykseen katso LeRobot-kameran asennusopas.

UKK

Voinko tallentaa datasetin Raspberry Pi 5:llä vai tarvitsenko Linux-pöytäkoneen?

Voit tallentaa Raspberry Pi 5:llä, mutta suoritin kamppailee 1080p-kuvien koodaamisessa reaaliajassa. Käytä 480p:tä molemmille kameroille, jos tallennat Pillä, tai siirrä tallennus nopeamman suorittimen Linux-pöytäkoneelle. Käden ohjaus toimii Pillä hyvin; vain kameran koodaus on hidasta.

Mitä tapahtuu, jos levytila loppuu kesken tallennuksen?

LeRobot lopettaa tallennuksen ja tallentaa vain valmiit jaksot. Tarkista vapaa levytila komennolla df -h ennen aloitusta. 30 jakson dataset kahdella kameralla 1080p:llä ja 480p:llä vie noin 3–5 GB. Jos tallennat microSD-kortille, varmista että vapaata on vähintään 10 GB.

Täytyykö datasetti tallentaa uudelleen, jos muutan kameroiden paikkoja myöhemmin?

Kyllä, jos siirrät kameroita merkittävästi. Käytännöt oppivat tilasuhteen sen välillä, mitä kamerat näkevät, ja sen, mihin käsi liikkuu. Jos muutat yläkameran kulmaa yli muutaman asteen, opittu käytäntö ei yleisty ja sinun täytyy tallentaa uusi dataset päivitetyllä kameraasetuksella.