模倣学習用のトレーニングオブジェクト：同一のキューブが家庭用品に勝る理由

ランダムな家庭用品の代わりに同じ色・同じ形の木製キューブを使うと、ロボットがどのフレームでも同じ形状とエッジを見ることになるため、最初の模倣学習データセットを記録しやすく、一貫性が高まり、学習も速くなります。SO-ARM101 ロボットアームで LeRobot を使ってピック＆プレースのポリシーを学習させるとき、学習用オブジェクトの選び方によって、ポリシーが 30 エピソードで収束するか、100 エピソードでも失敗するかが決まります。このガイドでは、形状・重さ・色の一貫性がなぜ重要なのか、そして最初のデータセットにどのオブジェクトが最適かを説明します。

家庭用品だと学習が難しくなる理由

マグカップ、ボトル、リモコンなど、ランダムな家庭用品は手軽に思えます。手近にあり、無料で、実際のタスクを代表してもいます。しかし最初のデータセットでは、次の 3 つの問題が生じ、ポリシーが学習できなくなります。

1 つ目は形状の不一致です。マグカップには曲がった取っ手と円形の縁があり、ボトルには細い首があります。異なるオブジェクトで 30 エピソードを記録すると、ロボットのカメラは 30 通りの形状を見ることになります。ポリシーは把持の方法だけでなく、各エピソードにどのオブジェクトが映っているかを見分けることも学ばなければならず、複雑さが倍になります。

2 つ目は重さのばらつきです。水の入ったボトルは 600 グラム、空のマグカップは 150 グラムです。ロボットのサーボは、オブジェクトごとに異なるトルクで持ち上げます。ACT と Diffusion Policy は関節位置とトルクから学習するため、重さが一定でないとアクション空間にノイズが加わります。ポリシーの収束は遅くなるか、まったく収束しません。

3 つ目は見た目の曖昧さです。家庭用品にははっきりしたエッジがありません。つるつるしたプラスチックのボトルは角度によって光の反射が変わり、手首カメラはボトルの終わりと背景の始まりを見分けられません。曖昧なオブジェクトで学習したポリシーは、把持位置を数ミリずらしてしまいがちで、その結果グリッパーがオブジェクトを拾えずに倒してしまいます。

最初のデータセットでは、この 3 つの問題をすべて取り除きたいところです。オブジェクトは 1 種類だけにして、30 回繰り返します。オブジェクトは、エッジが鋭く、重さが一定で、光を反射しない表面のものを選びます。

良い学習用オブジェクトの条件

模倣学習に適した学習用オブジェクトには、幾何学的な単純さ、視覚的なコントラスト、重さの安定性、把持しやすさの 4 つの性質があります。木製キューブは 4 つすべてを満たします。

幾何学的な単純さとは、平らな面と直線のエッジを持つことです。ロボットのカメラは勾配を使ってエッジを検出しますが、直線のエッジは強く一貫した勾配を生みます。キューブはどの 6 方向から見ても同じに見えます。球や円柱は回転によって見え方が変わるため、曖昧さが増します。

視覚的なコントラストとは、オブジェクトが背景から際立っていることです。無彩色の作業スペースに置いた鮮やかな色のキューブは、視覚モデルが容易に検出できる明確な境界を作ります。木製のテーブルに置いたベージュのオブジェクトは背景に溶け込み、ポリシーはまっすぐ手を伸ばす代わりにオブジェクトを探し回ることを学んでしまいます。

重さの安定性とは、すべてのキューブが同じ重さであることです。ピック＆プレースのタスクでは、重さが一定であれば変数が 1 つ減ります。ロボットのサーボはどのエピソードでも同じトルクを加え、ポリシーは未知の重さを補正することなく動作を学習できます。

把持しやすさとは、オブジェクトがグリッパーに合い、転がらないことです。キューブは平らに置かれ、近づいても動きません。球は触れると転がるため、アプローチから把持までの間に位置が変わります。ポリシーはオブジェクトが予測できない動きをするものだと学んでしまい、収束が遅くなります。

特性	木製キューブ	家庭用品	キューブが優れている理由
形状の一貫性	同一	まちまち（マグカップとボトルなど）	ポリシーが同じエッジを見る
重さの一貫性	±5 g	±200 g	トルクのノイズが減る
視覚的なコントラスト	10 色、マット	無彩色か光沢のあるものが多い	検出が明確になる
安定性	平らに置ける、転がらない	転がる、倒れる、滑る	把持位置が固定される

ロボット用トレーニングプロップセットには、10 色の木製キューブ 100 個と 10×10 のトレーが入っています。キューブは 1 個あたり 2 cm 角で、重さは約 8 グラムです。最初のデータセットでは、1 色だけを使い、毎回同じ位置にキューブを置いてください。

同一のキューブでデータセットを記録する

テープで開始位置に印を付けます。各エピソードの前に、その印の上にキューブを 1 個置きます。使わないキューブの保管と目標位置の指定にはトレーを使います。トレーのグリッドが、毎回同じ位置に置くための基準点になります。

同一のキューブで 30 エピソードを記録すると、どのフレームも似た見た目になります。手首カメラには同じ形・同じ色のキューブが映り、俯瞰カメラには同じ開始位置が映ります。ポリシーはオブジェクト認識を学ぶことなく、動作パターンを学習できます。

30 エピソードの後、ACT または Diffusion Policy に学習の兆候が見られるはずです。ロボットがキューブに向かって動き、グリッパーを閉じ、持ち上げます。そうなっていれば、動作を洗練させるためにさらに 20 エピソードを記録します。そうなっていない場合は、キューブの置き方が一貫しているかを確認してください。ランダムに 5 エピソードを再生し、キューブがまったく同じ場所から始まっていることを確かめます。

初めての学習では、単色のキューブのデータセットのほうが、複数色のデータセットより速く収束します。動くポリシーができたら、汎化を試すために複数の色を使った 2 つ目のデータセットを記録できます。ただし最初の 30 エピソードでは、1 色だけを使い、動作以外のあらゆる変数を取り除いてください。

SO-ARM101 ファーストトレーニングキットは、スターターアームキットとトレーニングプロップをセットにしたもので、ロボットとオブジェクトの両方がそろった状態で記録を始められます。カメラの取り付けについては、俯瞰カメラ用デスクアームと LeRobot カメラセットアップガイドをご覧ください。

家庭用品を使うタイミング

キューブで最初のポリシーが動いたら、家庭用品に進めます。その段階では、一貫したデータセットがどう振る舞うかを理解できているため、オブジェクトのばらつきが原因の失敗を切り分けられます。

まずは、キューブと共通の性質を 1 つ持つオブジェクトから始めます。小さな箱、ドミノ、レゴブロックなどです。1 種類のオブジェクトで 30 エピソードを記録します。ポリシーが学習できたら、2 種類目のオブジェクトを追加してさらに 30 エピソードを記録します。失敗する場合は、オブジェクトの違いが大きすぎるので、デモンストレーションを増やすか、より単純なオブジェクトを使う必要があります。

家庭用品は、複雑さがオブジェクトではなく動作にある、両腕のタスクやダイナミックなマニピュレーションにも向いています。ピック＆プレースでは、単純なものから始め、ベースラインが動いてから複雑さを加えてください。

学習用オブジェクトでよくある間違い

最初のデータセットで複数の種類のオブジェクトを使うと、学習データが分散してしまいます。キューブで 10 エピソード、ボトルで 10、マグカップで 10 を記録すると、ポリシーは各オブジェクトを 10 回しか見ません。10 回のデモンストレーションでは、把持パターンを学ぶには足りません。まず 1 種類のオブジェクトで 30 エピソードを記録してください。

オブジェクトをランダムに置くと、ポリシーはアプローチの軌道を学習できません。エピソードごとにキューブの位置が違うと、ポリシーは把持の前にオブジェクトを探すことを学ばなければならず、100 エピソード以上が必要になります。最初のデータセットでは、開始位置を固定し、探すのではなく動くことをポリシーに教えます。

透明なオブジェクトや反射するオブジェクトは、視覚モデルを混乱させます。透明なプラスチックのボトルや光沢のある金属缶は、背景やロボットのグリッパーを映し込みます。モデルはオブジェクトを周囲から切り分けられません。マットで不透明な、単色のオブジェクトを使ってください。

最初のデータセットの後に

ポリシーがキューブを確実に拾えるようになったら、別の色のキューブを試します。うまくいけば、ポリシーは色の変化に汎化できています。失敗する場合は、色も学習内容の一部になっているので、複数色のデータセットを記録する必要があります。

次に、開始位置を少し変えます。キューブを左、右、前、後ろに 2 cm 動かします。各位置で 5 エピソードずつ記録します。ポリシーが適応すれば、把持動作を学習できています。元の位置でしか動かない場合は、座標を記憶しているので、より多様なデモンストレーションが必要です。

より複雑なタスクでは、いずれ家庭用品が必要になります。しかし最初のデータセットでは、同一のキューブを使えば動作そのもの以外の障害をすべて取り除けます。そして、ポリシーに学習させたいのは動作です。

パーツや学習用ツールは、ロボットアーム用パーツ・アクセサリーのコレクションをご覧ください。データセットの記録手順については、最初の LeRobot データセットを記録するガイドをご覧ください。

FAQ

木製キューブの代わりにレゴブロックを学習に使えますか?

はい。サイズと色が同じであれば、レゴブロックでもうまく使えます。プレートはほとんどのグリッパーにとって薄すぎるため、プレートではなく 2×2 または 2×4 のブロックを使ってください。レゴブロックの鋭いエッジと一貫した形状は、木製キューブと同等です。木製キューブの主な利点は重さです。レゴブロックは軽く、グリッパーが閉じるときにずれることがありますが、グリッパーの力が穏やかであれば、レゴブロックは無料の代替品になります。

ACT と Diffusion Policy で別々のオブジェクトが必要ですか。それとも、どちらもキューブで使えますか?

ACT も Diffusion Policy も、同一のキューブで動作します。ACT は単純で一貫したデータセットでわずかに速く学習するため、キューブは ACT に最適です。Diffusion Policy はより多くのばらつきを扱え、最初のデータセットを越えたあとは多様なオブジェクトの恩恵を受けますが、キューブでも収束します。どちらもまずキューブで始め、動くポリシーができたら、汎化を試すためにオブジェクトを多様化してください。

赤いキューブを拾えるように学習したポリシーは、再学習なしで青いキューブでも動きますか?

視覚モデルがどれだけ色に依存しているかによります。赤いキューブだけで学習した場合、ポリシーは赤色をオブジェクトの定義の一部として学んでしまい、青いキューブを無視する可能性があります。確かめるには、青いキューブを同じ位置に置いてポリシーを実行します。正しく手を伸ばすものの把持に失敗するなら、汎化できています。キューブに向かってまったく動かないなら、色を特徴として学習しています。これを直すには、トレーニングプロップのセットからランダムな色を使って 30 エピソードの複数色データセットを記録します。