Nastavení kamer LeRobot pro SO-ARM101: kamera na zápěstí a horní kamera vysvětleny

Většina politik imitačního učení pro SO-ARM101 se trénuje na dvou pohledech kamer: kameře na zápěstí (eye-in-hand) na chapadle a pevné horní kameře (pohled třetí osoby) nad pracovním prostorem. Správné nastavení těchto dvou je důležitější než jakákoli jiná volba hardwaru: roztřesená nebo špatně zarámovaná kamera vytváří datasety, ze kterých se žádná politika nenaučí.

Kamery a držáky v tomto průvodci, odesíláme ze Singapuru se sledováním:

USB kamerový modul 1080p → Stolní rameno pro horní kameru Sada kamer LeRobot

1. Vyberte objektivy

Kamera Doporučené zorné pole Proč
Zápěstí 90°, nízké zkreslení Vidí oba prsty chapadla i předmět bez zakřivení typu rybí oko
Horní 110°–140° Pokryje pracovní prostor 60 × 60 cm z výšky 50–60 cm nad stolem

USB kamerový modul 1080p se dodává s objektivem M12 60°, 90°, 110° nebo 140°; kupte jeden 90° na zápěstí a jeden 110° nebo 140° pro horní pohled.

2. Namontujte kameru na zápěstí

Chapadlo SO-101 má na pevné čelisti výstupek pro kameru. Deska kamery 32 × 32 mm se přišroubuje k malému tištěnému držáku, který nakloní objektiv asi o 15° ke špičkám prstů, takže předmět zůstane v záběru během posledních centimetrů úchopu. Kabel USB veďte po vnitřní straně předloktí a v kloubu zápěstí nechte smyčku; napnutý kabel je nejčastější příčinou vypadávání serva zápěstí.

3. Namontujte horní kameru

Přichyťte stolní rameno s kulovou hlavou 1/4" k zadní hraně stolu tak, aby kamera směřovala dolů zhruba pod úhlem 45° z výšky 50–60 cm nad pracovním prostorem. Pokud můžete, neumisťujte ji na stejnou nohu stolu, ke které je připevněno rameno; vibrace od ramene se projeví jako pohybová neostrost. Horní kameru nikdy nepřesouvejte mezi nahráváním a vyhodnocením.

4. Sdělte LeRobotu o kamerách

cameras = {
  "wrist": OpenCVCameraConfig(index_or_path=0, width=640, height=480, fps=30),
  "top":   OpenCVCameraConfig(index_or_path=2, width=640, height=480, fps=30),
}

Spusťte lerobot-find-cameras opencv pro zjištění indexů, poté nahrajte 10sekundovou zkušební epizodu a projděte ji: oba pohledy musí ukazovat, jak chapadlo sahá po předmětu, bez vynechaných snímků.

5. Osvětlení a pozadí

  • Používejte hladkou, nereflexní podložku; podnos 10 × 10 našich cvičných kostek poskytuje pevnou mřížku, o kterou se může politika opřít.
  • Stálé světlo: vylučte změny denního světla od oken stolní lampou při obou relacích.
  • Pokud automatická expozice pulzuje, zafixujte expozici v ovladači kamery.

Pořiďte oba pohledy kamer jednou objednávkou.

Kupte jeden kamerový modul s objektivem 90° na zápěstí a jeden s objektivem 110° nebo 140° pro horní pohled, plus stolní rameno, které ho udrží.

Koupit kamerové moduly → Horní stolní rameno Cvičné kostky

Časté dotazy

V jakém rozlišení mám nahrávat?

640 × 480 při 30 fps je to, co očekává většina návodů LeRobot a předtrénovaných politik; datasety zůstanou malé. Nahrávejte 1280 × 720 jen pokud plánujete ořez nebo potřebujete jemné detaily.

Proč LeRobot ukazuje špatný index kamery?

Linux přiděluje čísla /dev/video v pořadí zapojení. Použijte skript find_cameras z lerobotu po zapojení obou kamer a zapojujte je při každé relaci do stejných USB portů, nebo je adresujte přes sériovou cestu.

Mohu použít telefon nebo webkameru Logitech?

Ano, funguje cokoli s UVC. Webkamery jsou na zápěstí objemnější; holý kamerový modul na držáku váží 15 g a nenaruší rovnováhu ramene.

Zpět na blog