Configurazione delle camere LeRobot per l'SO-ARM101: camera da polso e camera dall'alto

La maggior parte delle policy di apprendimento per imitazione per l'SO-ARM101 si addestra su due viste: una camera da polso (eye-in-hand) sulla pinza e una camera fissa dall'alto (in terza persona) sopra l'area di lavoro. Impostare bene queste due camere conta più di qualsiasi altra scelta hardware: una camera instabile o mal inquadrata produce dataset da cui nessuna policy può imparare.

1. Scelga gli obiettivi

Camera	Campo visivo consigliato	Perché
Polso	90°, bassa distorsione	Vede entrambe le dita della pinza e l'oggetto senza la curvatura fisheye
Dall'alto	110°–140°	Copre un'area di lavoro di 60 × 60 cm da 50–60 cm sopra la scrivania

Il modulo camera USB 1080p è disponibile con obiettivo M12 da 60°, 90°, 110° o 140°; ne acquisti uno da 90° per il polso e uno da 110° o 140° per la vista dall'alto.

2. Monti la camera da polso

La pinza dell'SO-101 ha un attacco per la camera sulla ganascia fissa. Una scheda camera da 32 × 32 mm si avvita a un piccolo supporto stampato che inclina l'obiettivo di circa 15° verso la punta delle dita, in modo che l'oggetto resti nell'inquadratura durante gli ultimi centimetri di una presa. Faccia passare il cavo USB all'interno dell'avambraccio e lasci un'asola in corrispondenza del giunto del polso; un cavo teso è la causa più comune dello scollegamento di un servo del polso.

3. Monti la camera dall'alto

Fissi un braccio da scrivania con testa a sfera da 1/4" al bordo posteriore del tavolo in modo che la camera guardi in basso con un angolo di circa 45° da 50–60 cm sopra l'area di lavoro. Se può, lo tenga lontano dalla gamba del tavolo a cui è fissato il braccio; le vibrazioni del braccio si vedono come sfocatura da movimento. Non sposti mai la camera dall'alto tra la registrazione e la valutazione.

4. Indichi le camere a LeRobot

cameras = {
  "wrist": OpenCVCameraConfig(index_or_path=0, width=640, height=480, fps=30),
  "top":   OpenCVCameraConfig(index_or_path=2, width=640, height=480, fps=30),
}

Esegua lerobot-find-cameras opencv per ottenere gli indici, poi registri un episodio di prova di 10 secondi e lo scorra: entrambe le viste devono mostrare la pinza che raggiunge l'oggetto, senza fotogrammi persi.

5. Illuminazione e sfondo

• Usi un tappetino semplice e non riflettente; il vassoio 10 × 10 dei nostri cubi di addestramento offre una griglia fissa a cui la policy può ancorarsi.
• Luce costante: elimini le variazioni della luce diurna dovute alle finestre usando una lampada da scrivania in entrambe le sessioni.
• Fissi l'esposizione nel driver della camera se l'esposizione automatica pulsa.

FAQ

A che risoluzione devo registrare?

640 × 480 a 30 fps è ciò che si aspettano la maggior parte dei tutorial LeRobot e delle policy preaddestrate; mantiene i dataset piccoli. Registri a 1280 × 720 solo se prevede di ritagliare o se servono dettagli fini.

Perché LeRobot mostra l'indice della camera sbagliato?

Linux assegna i numeri /dev/video nell'ordine di collegamento. Usi lo script find_cameras di lerobot dopo aver collegato entrambe le camere, le colleghi sempre alle stesse porte USB a ogni sessione, oppure le indirizzi tramite il percorso seriale.

Posso usare un telefono o una webcam Logitech?

Sì, va bene qualsiasi dispositivo UVC. Le webcam sono più ingombranti sul polso; un modulo camera nudo su un supporto pesa 15 g e non altera il bilanciamento del braccio.