実世界の自己中心的ビデオデータを用いた身体化AIの進歩
家庭環境や産業環境で撮影された拡張性の高いビデオを用いて、人間の活動認識、ロボット工学、および手と物体の相互作用モデルを実現する。
プロジェクト概観
クライアントはShaip社と提携し、高品質な一人称視点ビデオデータを収集するための拡張性の高いプログラムを構築した。参加者は、額の高さにしっかりと固定されたモバイルデバイスを使用して、実際の家庭生活や産業活動を録画する。
目的は、モデルのトレーニングに適した、多様で自然なビデオデータセットを構築することでした。
- 複雑な人間の活動とタスクシーケンスを認識する
- 手と物体の相互作用を解釈する
- 現実世界の家庭環境や職場環境を理解する
- ロボット工学および具現化されたAIアプリケーションをサポートする
- 場所、デバイス、オブジェクト、および動作条件全体にわたるモデルの汎化性能を向上させる
この取り組みでは、自然なタスク遂行、安定したカメラ位置、継続的な実行、出演者の同意、そして厳格な品質検証が重視された。
自己中心型ビデオデータセット：主な仕様
データ量
収集時間30,000時間、注釈付き時間24,000時間以上
貢献者能力
参加者1人あたり最大100時間の承認済み動画
承認済み機器
iPhone 11+、Google Pixel 6+、Samsung Galaxy S21+
地理的な範囲
アメリカとラテンアメリカ
活動環境
家庭、産業、商業施設
自己中心的なビデオデータ収集における課題
- 自然な人間の行動を捉える： 参加者は、演出されたり、誇張されたり、ロボットのような動きをすることなく、真摯な活動を行う必要があった。
- 一人称視点を維持する： 作業中は常に、両手、作業エリア、および関連する物体が視界に入っている必要があった。
- カメラの安定性を制御する： ヘッドマウント型モバイルデバイスは、揺れや過度の傾き、障害物が最小限に抑えられ、しっかりと固定される必要がある。
- 多様な環境における収集活動： このデータセットには、住宅、工業、小売、宿泊施設、農業、建設、サービスといった様々な環境における実際の映像が必要だった。
- アイドル状態または非タスク状態の映像を最小限に抑える： 録画映像では、中断や不必要な動きを最小限に抑え、継続的かつ意図的な作業が行われていることを示す必要があった。
- 承認と同意の確保： すべての出演者および録音場所について、適切な許可、同意、および法令遵守の検証が必要でした。
- 品質を損なわずに規模を拡大する： 大量の映像を迅速にレビューし、明確な却下理由と効率的な再撮影ワークフローを確立する必要があった。
Shaipはどのようにして自己中心的なビデオデータを収集したのか
収集戦略
シャイプは、家庭、商業、産業における実際の活動を網羅する柔軟な枠組みを設計した。参加者は、あらかじめ決められた台本に従うのではなく、自分たちの自然な日常に沿った作業を選択した。
貢献者オンボーディング
米国およびラテンアメリカの参加者は、タスクの選択、必要な機器、カメラの設置場所、同意、および撮影禁止条件についてトレーニングを受けた。
モバイルビデオコレクション
録音は専用のモバイルアプリケーションを通じて行われ、自動送信機能と位置情報検証機能により、承認された地域内で録音が行われたことを確認した。
ヘッドマウントカメラのセットアップ
承認されたスマートフォンは、額の高さにしっかりと固定され、約45度下向きに角度がつけられており、撮影者の手、物、作業スペース、そして静止時にはつま先が見えるようになっていた。
自然なタスク実行
被験者は、立ったり歩いたりしながら、継続的かつ目的のある活動を行い、道具、機器、日用品と自然にやり取りを行った。
品質検証
すべての録画映像は、カメラの安定性、照明、ピント、手と物体の視認性、作業の継続性、姿勢、環境、および認証状況についてチェックされました。
迅速なレビューと再捕獲
投稿は1日以内に審査されました。明確な却下理由が示されたため、投稿者は迅速に映像を修正し、再撮影することができました。
ガバナンスコントロール
同意、位置情報の承認、安全な送信、位置情報の検証、および知的財産権の譲渡がワークフローに統合されました。
プロジェクトの範囲と活動
| データセグメント | 代表的な活動 | キャプチャ要件 |
|---|---|---|
| 家庭での活動 | 洗濯、部屋の整理整頓、キッチンの片付け、ペットの世話、植物の手入れ、ガーデニング、そして家のメンテナンス。 | 立っているか歩いているかにかかわらず、自然な動作で、手と作業スペースが見える状態。 |
| 倉庫とロジスティクス | 梱包、仕分け、在庫管理、検査、資材の移動。 | 継続的な作業活動における、安定したヘッドマウント型カメラによるデータ取得。 |
| 商業・ホスピタリティ | 清掃業務、ハウスキーピング、小売店の商品補充、および飲食店の厨房業務。 | 許可された録画場所と明確な物体との相互作用。 |
| 産業活動 | 軽工業、組立、設備保守、および生産工程。 | 適切な許可を得た上での、正当な職場での業務遂行。 |
| 農業と造園 | 敷地の維持管理、園芸、農業作業、屋外での資材運搬。 | 適切な照明、安定した構図、そして安全な作業遂行。 |
| 熟練技能職および現場サービス | 建設、自動車整備、修理、設置、および現場保守。 | 工具、手、部品、作業エリアがはっきりと見える。 |
品質フレームワーク
録音が却下された理由は以下のとおりです。
- カメラの視界が遮られている、過度に傾いている、または不安定である
- 照明が暗く、焦点が合わず、視界が不明瞭です。
- 長時間の待機時間または作業とは関係のない映像
- 人工的、作為的、またはロボットによる処刑
- 頭、手、または体の過剰な動き
- アクティブな掴みと解放動作の10%以上で手がフレームの外側にある
- 許可されていない録音場所
- 投稿者の同意がありません
録音を成功させるには、以下の条件を満たす必要がありました。
- 家庭や産業現場のリアルな風景を撮影する
- 安定した一人称視点を維持する
- 手、物、作業エリアを常に見えるようにしておく
- 継続的かつ意図的な活動を示す
- 承認されたデバイスおよびカメラ配置の要件を満たす
- 活動認識やロボット知覚を含むAIトレーニングに適している。
成果：ロボット工学に対応した自己中心型ビデオデータ
- 本物の活動データ: 自然な作業遂行では、人間の動作、手と物体の相互作用、および操作手順が捉えられました。
- 拡張可能なデータセットの拡張： 各参加者は承認された最大100時間まで貢献することができ、対象物、ツール、場所、照明、タスクシーケンスのバリエーションによってデータセットの多様性が拡大し、推定30,000時間の自己中心型ビデオが収集され、そのうち24,000時間以上が注釈付けされ、モデルトレーニング用に承認されました。
- ロボット工学対応環境： 安定した一人称視点の映像により、手、物体、機器、作業スペース、および作業の進行状況が明確に確認できた。
- 迅速な品質改善介入： 1日レビューサイクルにより、迅速なフィードバック、修正、および再取得が可能になった。
- 地理的およびデバイスの多様性： 米国およびラテンアメリカ全域で、承認済みのApple、Google、Samsung製デバイスを使用してデータを収集することで、環境およびハードウェアの面で実用的な多様性がもたらされた。
- 統合ガバナンス： 同意、承認、位置情報の検証、安全なデータ送信、および品質管理は、プログラム全体に組み込まれていました。
その結果得られた収集アプローチは、オペレーターの視点から人間の行動を理解し、より信頼性の高い機能を発揮するAIシステムを構築するための強力な基盤を提供する。
Shaip社の体系的な自己中心型ビデオ収集手法は、当社のAIトレーニングプログラムに必要な規模、品質管理、そして現実世界における多様性を提供してくれました。迅速なレビューワークフローと詳細なキャプチャ基準は、活動認識モデルやロボットモデルの開発を進めるための確固たる基盤となりました。
