LeRobot-kameran asennus SO-ARM101:lle: ranne- ja ylhäältä kuvaavat kamerat selitettynä
Jaa
Useimmat SO-ARM101:n jäljittelyoppimiskäytännöt koulutetaan kahdella kamerakuvalla: tarttujassa olevalla rannekameralla (eye-in-hand) ja työtilan yläpuolella olevalla kiinteällä yläkameralla (kolmannen persoonan näkymä). Näiden kahden kunnossa oleminen on tärkeämpää kuin mikään muu laitevalinta: huojuva tai huonosti rajattu kamera tuottaa datasettejä, joista mikään käytäntö ei voi oppia.
Tässä oppaassa käytetyt kamerat ja kiinnikkeet, toimitus Singaporesta seurantakoodilla:
1080p USB-kameramoduuli → Ylhäältä kuvaavan kameran pöytäpuomi LeRobot-kamerasarja
1. Valitse linssit
| Kamera | Suositeltu näkökenttä | Miksi |
|---|---|---|
| Ranne | 90°, vähän vääristymää | Näkee molemmat tarttujan sormet ja kohteen ilman kalansilmäkaarevuutta |
| Yläkamera | 110°–140° | Kattaa 60 × 60 cm:n työtilan 50–60 cm:n korkeudelta pöydän yläpuolelta |
1080p USB-kameramoduulin mukana tulee 60°, 90°, 110° tai 140° M12-linssi; osta yksi 90° ranteeseen ja yksi 110° tai 140° yläkuvaa varten.
2. Asenna rannekamera
SO-101-tarttujan kiinteässä leuassa on kameran kiinnitysnokka. 32 × 32 mm:n kamerakortti ruuvataan pieneen tulostettuun kiinnikkeeseen, joka kallistaa linssiä noin 15° sormenpäitä kohti, jotta kohde pysyy kuvassa tarttumisen viimeisten senttien ajan. Reititä USB-kaapeli kyynärvarren sisäpuolelta ja jätä ranneniveleen silmukka; kireä kaapeli on yleisin syy siihen, että ranneservo putoaa pois.
3. Asenna yläkamera
Kiinnitä pöytäpuomi 1/4" kuulapäällä pöydän takareunaan niin, että kamera katsoo alas noin 45° kulmassa 50–60 cm:n korkeudelta työtilan yläpuolelta. Jos mahdollista, pidä se eri pöydänjalan kohdalla kuin mihin käsi on kiinnitetty; käden värinä näkyy liikesumeutena. Älä koskaan siirrä yläkameraa tallennuksen ja arvioinnin välillä.
4. Kerro LeRobotille kameroista
cameras = {
"wrist": OpenCVCameraConfig(index_or_path=0, width=640, height=480, fps=30),
"top": OpenCVCameraConfig(index_or_path=2, width=640, height=480, fps=30),
}Aja lerobot-find-cameras opencv saadaksesi indeksit, tallenna sitten 10 sekunnin testijakso ja käy se läpi: molempien näkymien täytyy näyttää tarttujan ulottuvan kohteeseen ilman pudonneita kuvia.
5. Valaistus ja tausta
- Käytä tasaista, ei-heijastavaa alustaa; harjoituskuutioidemme 10 × 10 -alusta antaa kiinteän ruudukon, johon käytäntö voi ankkuroitua.
- Vakiovalo: sulje pois ikkunoista tulevat päivänvalon muutokset käyttämällä pöytälamppua molemmissa istunnoissa.
- Lukitse valotus kameran ajurissa, jos automaattivalotus sykkii.
Hanki molemmat kameranäkymät yhdellä tilauksella.
Osta yksi kameramoduuli 90° linssillä ranteeseen ja yksi 110° tai 140° linssillä yläkuvaa varten sekä pöytäpuomi sen pitelemiseen.
Osta kameramoduulit → Ylhäältä kuvaava pöytäpuomi Harjoituskuutiot
UKK
Millä resoluutiolla minun pitäisi tallentaa?
640 × 480 30 fps:llä on se, mitä useimmat LeRobot-oppaat ja esikoulutetut käytännöt odottavat; se pitää datasetit pieninä. Tallenna 1280 × 720 vain, jos aiot rajata kuvaa tai tarvitset hienoja yksityiskohtia.
Miksi LeRobot näyttää väärän kameran indeksin?
Linux antaa /dev/video-numerot kytkentäjärjestyksessä. Käytä lerobotin find_cameras-skriptiä, kun molemmat kamerat on kytketty, ja kytke ne samoihin USB-portteihin joka istunnolla tai osoita ne sarjapolun avulla.
Voinko käyttää puhelinta tai Logitech-verkkokameraa?
Kyllä, mikä tahansa UVC toimii. Verkkokamerat ovat rannassa isompia; kiinnikkeessä oleva paljas kameramoduuli painaa 15 g eikä muuta käden tasapainoa.