LeRobot-camera-opstelling voor de SO-ARM101: pols- en bovencamera uitgelegd
Delen
De meeste imitation-learning-policies voor de SO-ARM101 worden getraind op twee camerabeelden: een polscamera (eye-in-hand) op de gripper en een vaste bovencamera (derdepersoonsperspectief) boven de werkruimte. Deze twee goed doen is belangrijker dan elke andere hardwarekeuze: een trillende of slecht ingestelde camera levert datasets op waar geen enkele policy van kan leren.
Camera's en houders in deze gids, met tracking verzonden vanuit Singapore:
1080p-USB-cameramodule → Bureauarm voor bovencamera LeRobot-camerakit
1. Kies de lenzen
| Camera | Aanbevolen beeldhoek | Waarom |
|---|---|---|
| Pols | 90°, weinig vervorming | Ziet beide gripper-vingers en het object zonder fisheye-kromming |
| Boven | 110°–140° | Dekt een werkruimte van 60 × 60 cm vanaf 50–60 cm boven het bureau |
De 1080p-USB-cameramodule wordt geleverd met een M12-lens van 60°, 90°, 110° of 140°; koop er één van 90° voor de pols en één van 110° of 140° voor het bovenaanzicht.
2. Monteer de polscamera
De SO-101-gripper heeft een camerabevestiging op de vaste kaak. Een camerabord van 32 × 32 mm wordt met schroeven op een kleine geprinte beugel bevestigd die de lens ongeveer 15° naar de vingertoppen kantelt, zodat het object in beeld blijft tijdens de laatste centimeters van een grijpbeweging. Leg de USB-kabel langs de binnenkant van de onderarm en laat bij het polsgewricht een lus zitten; een strak gespannen kabel is de meest voorkomende oorzaak van een wegvallende polsservo.
3. Monteer de bovencamera
Klem een bureauarm met 1/4"-kogelkop aan de achterrand van de tafel, zodat de camera onder ongeveer 45° naar beneden kijkt vanaf 50–60 cm boven de werkruimte. Houd hem, als het kan, bij een andere tafelpoot dan waar de arm aan vastgeklemd zit; trillingen van de arm zijn zichtbaar als bewegingsonscherpte. Verplaats de bovencamera nooit tussen opname en evaluatie.
4. Vertel LeRobot over de camera's
cameras = {
"wrist": OpenCVCameraConfig(index_or_path=0, width=640, height=480, fps=30),
"top": OpenCVCameraConfig(index_or_path=2, width=640, height=480, fps=30),
}Voer lerobot-find-cameras opencv uit om de indexen op te vragen, neem daarna een testepisode van 10 seconden op en loop die door: beide beelden moeten laten zien hoe de gripper het object bereikt, zonder weggevallen frames.
5. Licht en achtergrond
- Gebruik een effen, niet-reflecterende mat; de tray van 10 × 10 van onze trainingskubussen geeft een vast raster waarop de policy zich kan richten.
- Constant licht: sluit wisselend daglicht van ramen uit door bij beide sessies een bureaulamp te gebruiken.
- Zet de belichting vast in de camerastuurprogramma's als de automatische belichting pulseert.
Krijg beide camerabeelden in één bestelling.
Koop één cameramodule met een lens van 90° voor de pols en één met een lens van 110° of 140° voor het bovenaanzicht, plus de bureauarm om die vast te houden.
Koop cameramodules → Bureauarm voor bovencamera Trainingskubussen
FAQ
Met welke resolutie moet ik opnemen?
640 × 480 bij 30 fps is wat de meeste LeRobot-tutorials en voorgetrainde policies verwachten; zo blijven datasets klein. Neem alleen op in 1280 × 720 als u van plan bent bij te snijden of fijn detail nodig hebt.
Waarom toont LeRobot de verkeerde cameraindex?
Linux kent de /dev/video-nummers toe in de volgorde waarin de camera's worden aangesloten. Gebruik het find_cameras-script van lerobot nadat u beide camera's hebt aangesloten, steek ze elke sessie in dezelfde USB-poorten of spreek ze aan via het serienummerpad.
Kan ik een telefoon of een Logitech-webcam gebruiken?
Ja, alles wat UVC ondersteunt werkt. Webcams zijn log op de pols; een kale cameramodule op een beugel weegt 15 g en verstoort de balans van de arm niet.