10万時間分のシミュレーションから実機へのモーションデータを用いた物理AIとヒューマノイドロボットのスケーリング
Shaipは、4,000人の参加者、100のタスク、5つ以上の実世界環境にわたる10,000時間分の自己中心型VRモーションキャプチャデータをどのように提供したか。これは、シミュレーションから現実世界へのヒューマノイドロボットのための、実用レベルの物理AIトレーニングデータパイプラインとして構築された。
プロジェクト概観
物理AIとヒューマノイドロボットが実世界への導入へと移行するにつれ、クライアントは、一貫したキャリブレーション、実行、および品質保証を行いながら、多様な環境において10,000時間分のタスクベースのVRモーションデータを収集するための拡張性の高いフレームワークを必要としていました。
Shaipは、シーン設定、QRマッピング、5つのセンサーによるトラッキング、参加者のリハーサル、モデレートされたキャプチャ、レビューのワークフローを網羅するエンドツーエンドのデータ運用パイプラインを構築し、顧客が定義した100のタスクをサポートし、モデル化可能な具現化されたAIデータセットを大規模に提供できるようにしました。
主要統計
一般
〜4,000
データ量
有効時間10,000時間
環境報道
オフィス、自宅、工場、カフェ、倉庫など
タイムライン
1月
チャレンジ
- 制御されたパイロットスタイルのワークフローからモーションデータ収集を拡張し、 10,000時間、複数環境 プログラム。
- 保守 一貫した追跡精度 様々な現実世界の場面や参加者の状況において。
- 各セッションが厳格な要件を満たしていることを確認する APK/バージョン管理、共有ネットワーク設定、スクリーンキャスト、センサーペアリング。
- 管理する 顧客定義タスク100件 移動、物体操作、家庭内でのやり取り、オフィスでのやり取り、複数ステップの物理的なワークフローなど、さまざまなカテゴリにわたって、それぞれ適切なシーン設定、物体の配置、参加者の準備、およびモデレーター主導の検証が必要となる。
- 生のセッションを変換して モデル対応出力 再現性のある品質保証、再撮影対応、およびアップロードレビューのワークフローを通じて実現します。
解決策
収集戦略
Shaipは、拡張可能なコレクションフレームワークを設計しました。 有効時間10,000時間 VRモーションデータの、マイルストーンベースのバッチで配信されます。ソース計画比率に基づくと、 有効時間10時間あたり3～5名の参加者フルプログラムは推定で 3,000～5,000年の参加者、と 約4,000人の参加者 計画の中間点数値として使用されます。
環境およびシーン管理
各撮影場所は構造化されたシーンとして扱われました。Shaipは広角レンズを用いた室内撮影で環境を記録し、管理システムでシーンを設定し、顧客レビューを調整し、物理的な配置のためにシーンのPDFファイルをエクスポートしました。QRコードでリンクされたシーンマッピングにより、あらゆる現実世界の環境が適切な録画コンテキストに確実に結び付けられるようになりました。
デバイスとアプリケーションの準備状況
Shaipは、VRヘッドセットとモニタリングデバイスが同じネットワークに接続されていることを確認し、APKのインストール/更新フローを制御し、セッション全体を通してモデレーターが画面を共有できるようにブラウザベースのスクリーンキャストを有効にすることで、技術的な準備を標準化した。
モーション追跡とキャリブレーション
各セッションの前に、5つのモーション トラッカーすべてがペアリングされ、検証されました。参加者全員に対してキャリブレーションが必須であり、記録可能な活動空間内で正確な全身モーションキャプチャを確保するために、アバターの位置合わせチェック、床面の調整、カスタム境界の設定などが含まれていました。
タスクの実行と管理
参加者は、録画前にシーンごとのタスク準備とリハーサルを行った。モデレーターはスクリーンキャストを通して観察し、タスクの正確性と動作の明瞭さを確認した上で、センサーの動作と参加者の動きが品質基準を満たした場合にのみ、ライブキャプチャに進んだ。録画の開始/停止は、定義されたジェスチャーワークフローに従って実行された。
品質保証とモデル対応出力
録画後、セッションは履歴にアップロードされ、レビューに使用されました。Shaipは、動作の明瞭度、タスクの正確性、シーンのアライメント、センサーの精度を検証し、必要に応じて使用できない録画をキャンセルまたは再撮影しました。これにより、身体化されたAIおよびロボット工学トレーニングのための、注釈付け準備済み、品質保証検証済み、モデル準備済みのデータセットへの、より信頼性の高い道筋が確立されました。
プロジェクト範囲
| データセットのタイプ | 一般 | 録音音量 | 環境 | タスクボリューム | キャプチャ設定 | タイムライン |
|---|---|---|---|---|---|---|
| 一人称視点VRモーションキャプチャ | 〜4,000 | 有効時間10,000時間 | オフィス、自宅、カフェ、工場、倉庫、その他現実世界の環境 | 顧客定義タスク100件 | VRヘッドセット＋モーション・トラッカー5個 | 1月 |
アウトカム
- 拡張可能なデータ運用フレームワークを確立しました 10,000時間分の物理AIトレーニングデータ
- 標準化されました シーンガバナンス、QRコードベースのマッピング、および5つのセンサーのキャリブレーション 分散環境全体にわたって
- 収集の一貫性を向上させる モデレーターによるリハーサル、リアルタイムのスクリーンキャストレビュー、セッションレベルの質疑応答
- 使用可能 タスク検証済み、注釈対応の出力 下流工程における組み込み型AI、シミュレーション、ロボットモデル開発向け
- クライアントの シミュレーションから実データへのパイプライン 高品質な一人称視点モーションキャプチャ
多様な現実世界の環境から
全体として、Shaipは複雑なVRキャプチャ要件を、構造化された本番環境対応のデータパイプラインへと変換するのに貢献しました。 物理AI、身体化された知能、およびヒューマノイドロボット より一貫性、追跡可能性、規模が拡大した取り組み。
Shaip社は、当社の物理AIロードマップにおけるデータ運用基盤の構築を支援してくれました。彼らのチームは、マルチ環境モーションキャプチャ、参加者管理、シーン設定、キャリブレーション、および品質保証に体系的な仕組みをもたらし、具現化されたAIやヒューマノイドロボットのためのシミュレーションから現実世界への学習をサポートする、モデル化可能なデータセットの生成を可能にしてくれました。
