Physical AI 연구가 빠르게 확산되면서 텔레오퍼레이션 데이터 수집 파이프라인이 로봇 학습의 가장 중요한 기반 기술로 떠올랐어요. 사람이 원격에서 로봇을 조종하며 만들어 내는 시범 데이터는 모방 학습(Imitation Learning)과 비전 언어 액션(VLA) 모델 학습의 연료가 되기 때문이에요. 그런데 이 데이터를 수집하는 과정은 단순히 “녹화하면 끝”이 아니라, 센서 동기화부터 레이블링까지 이어지는 정교한 엔지니어링 작업이에요.
텔레오퍼레이션 데이터가 Physical AI에 중요한 이유
Physical AI의 핵심은 실제 환경에서 몸을 움직이는 지능이에요. 시뮬레이션만으로는 물리적 상호작용의 미세한 변수(마찰, 미끄러짐, 재질의 변형)를 완전히 재현하기 어려워요. 그래서 실제 로봇이 수집한 고품질 시범 데이터가 훨씬 중요한 가치를 가져요.
스케일 법칙의 물리 세계 확장
언어 모델이 대규모 텍스트 데이터로 스케일 법칙을 입증한 것처럼, 로봇 파운데이션 모델(RFM)도 수백만 개의 시연 에피소드가 축적될 때 질적 도약을 보인다는 연구가 늘고 있어요. Google DeepMind의 RT-2, 스탠포드 ALOHA, NVIDIA GR00T 등 최근 공개된 모델들이 공통적으로 강조하는 지점이기도 해요.
다양성과 롱테일 상황
현실의 조작 태스크는 항상 예측 불가능한 변수가 있어요. 컵을 집는 단순한 동작도 컵 재질, 조명, 테이블 표면, 주변 물체의 배치에 따라 수백 가지 조건으로 갈라져요. 텔레오퍼레이션은 사람의 적응력을 그대로 데이터에 녹여 낼 수 있는 가장 효과적인 방법이에요.
파이프라인의 전체 구조
텔레오퍼레이션 데이터 파이프라인은 크게 네 단계로 구성돼요. 이 흐름을 먼저 머릿속에 그려 두면 세부 설계를 이해하기가 훨씬 쉬워져요.
1) 입력 단계: 조작자 인터페이스
조작자는 VR 컨트롤러, 햅틱 글러브, 리더-팔로워 방식의 기구 장치 등을 통해 로봇을 제어해요. 최근에는 Meta Quest 같은 저가형 VR 기기와 역기구학(Inverse Kinematics) 솔버를 연결해 엔트리 진입 장벽을 낮추고 있어요. ALOHA 프로젝트의 리더-팔로워 장치는 관절 각도를 직접 복제하기 때문에 지연이 극히 낮다는 장점이 있어요.
2) 전송과 제어 루프
조작자의 명령은 ROS 2, LCM, gRPC, 또는 자체 프로토콜을 통해 로봇 제어기로 전달돼요. 제어 주파수는 보통 50~200Hz 범위이며, 힘 피드백이 들어가는 섬세한 조작에서는 1kHz까지도 올려요. 네트워크 지연을 줄이기 위해 보통 조작자와 로봇은 같은 LAN에 두는 편이에요.
3) 센서 스트림 동시 기록
동일 시간축에서 카메라, 관절 엔코더, 그리퍼 상태, 토크 센서, 촉각 센서 등 여러 스트림을 기록해요. 뒤에서 다룰 타임스탬프 동기화가 이 단계에서 결정돼요.
4) 저장과 후처리
보통은 에피소드 단위로 HDF5, MCAP, 또는 LeRobot 데이터셋 포맷 등으로 저장해요. 이후 레이블링, 분할, 정제 과정을 거쳐 학습 데이터셋으로 완성돼요.
센서 동기화와 타임스탬프 정책
파이프라인 품질을 좌우하는 가장 치명적인 요소는 센서 동기화예요. 카메라 프레임과 관절 상태가 몇 ms만 어긋나도 학습된 정책은 “잘못된 시점의 상태에 대해 잘못된 행동”을 외우게 돼요.
하드웨어 트리거와 PTP
산업용 카메라가 있다면 GPIO 트리거로 촬영 시점을 정확히 맞추는 것이 가장 이상적이에요. 그게 어렵다면 네트워크 전체에 PTP(Precision Time Protocol, IEEE 1588)를 배포해 마이크로초 단위 시각 동기를 맞춰요. PTP가 어려운 USB 카메라 환경에서는 프레임 도착 시각을 기록하고 보간하는 방식으로 차선책을 택해요.
소프트웨어 타임스탬프 베스트 프랙티스
- 모든 샘플에 센서 측 타임스탬프와 호스트 수신 타임스탬프를 동시에 남겨요.
- 클록 드리프트를 줄이기 위해
CLOCK_MONOTONIC을 기준으로 삼아요. - 에피소드 시작 시 모든 장치에 동기 신호(예: LED 깜빡임, 비프음)를 기록해 후처리에서 교차 검증해요.
리샘플링과 정렬
학습 입력으로 쓰기 전에 모든 스트림을 동일 주기로 리샘플링해요. 일반적으로 가장 느린 신호에 맞춰 다운샘플링하지만, 상태 추정이 중요한 경우 고주파 관절 데이터를 유지하고 카메라를 보간하기도 해요.
데이터 품질 관리와 레이블링
대규모 텔레오퍼레이션 세션은 예상보다 훨씬 많은 “쓸모없는” 데이터를 만들어요. 조작자가 실수한 구간, 충돌 직전의 이상치, 센서 드롭 등이 섞이기 때문이에요. 데이터가 많다고 무조건 학습에 도움이 되지 않으니 품질 관리가 필수예요.
성공·실패 레이블
에피소드 종료 시 조작자가 즉시 성공/실패 플래그를 남기도록 UI를 설계해요. 실패 데이터는 버리지 말고 별도의 음성 예시 데이터셋으로 보존하면 추후 리커버리 정책이나 검증 시나리오에 활용할 수 있어요.
자동 이상치 탐지
- 관절 가속도 스파이크를 탐지해 충돌 의심 구간을 표시해요.
- 카메라 프레임 타임스탬프 간격이 비정상적으로 긴 지점을 찾아 결측을 마킹해요.
- 그리퍼 상태와 물체 인식 결과의 불일치를 확인해요.
언어 명령 레이블
최근 VLA 모델 학습을 위해 각 에피소드에 “컵을 서랍 안으로 넣기” 같은 자연어 설명을 붙이는 경우가 많아요. 이때 조작자가 직접 문장을 입력하거나, 자동 캡셔닝 모델로 초안을 만들고 사람이 교정하는 하이브리드 방식이 효율적이에요.
저장 포맷과 오픈 데이터 생태계
쌓인 데이터를 어떤 포맷으로 저장하느냐에 따라 팀 간 협업과 모델 재현성이 크게 달라져요. 다행히 최근 몇 년 사이 사실상 표준에 가까운 오픈 포맷이 자리를 잡고 있어요.
대표적 데이터 포맷 비교
| 포맷 | 특징 | 활용 예 |
|---|---|---|
| HDF5 | 계층적 배열 저장, 랜덤 접근 용이 | ALOHA, RoboMimic |
| MCAP | 다중 스트림 로깅, ROS 2 친화 | Foxglove 기반 디버깅 |
| LeRobot / RLDS | 대규모 에피소드 데이터셋 표준 | Hugging Face, Open X-Embodiment |
Open X-Embodiment의 영향
2023년 공개된 Open X-Embodiment 프로젝트는 전 세계 21개 기관의 로봇 데이터를 통합해 100만 개가 넘는 에피소드를 하나의 포맷으로 정리했어요. 이 프로젝트 이후 많은 연구실이 RLDS 기반 스키마를 채택하면서 교차 로봇 학습(Cross-Embodiment Learning)이 현실적인 연구 주제가 됐어요.
에피소드 메타데이터 설계
저장 시 반드시 포함해야 하는 메타데이터는 로봇 종류, 캘리브레이션 정보, 조작자 ID, 태스크 명, 환경 조건(조명, 테이블, 주변 물체), 성공 여부, 사용된 그리퍼 타입이에요. 이 정보가 있어야 나중에 데이터셋을 필터링하고 편향을 분석할 수 있어요.
확장성과 운영: 한 대에서 수십 대로
초기에는 로봇 한 대로 수백 에피소드를 모으는 데서 시작하지만, Physical AI 파운데이션 모델을 진지하게 겨냥한다면 빠르게 데이터 팜 규모로 확장해야 해요.
다중 로봇 운영 체계
- 각 로봇 스테이션마다 독립적인 로컬 기록 서버를 두고, 밤에 중앙 스토리지로 업로드해요.
- 스테이션별 캘리브레이션 문서를 Git에 버전 관리하면 재현성 확보에 도움이 돼요.
- 조작자 교대 스케줄, 로봇 정비 주기, 소모품 재고까지 운영 지표로 관리해요.
보안과 개인정보
가정용 환경이나 공공장소에서 데이터를 수집할 경우 의도치 않게 사람 얼굴이나 민감 정보가 포함될 수 있어요. 얼굴 블러링, 음성 제거, 개인 식별 물체 마스킹 같은 전처리 자동화가 필수예요. GDPR, 국내 개인정보보호법 등 관련 규정도 미리 검토해야 해요.
비용 관점
카메라 3대, 고해상도 기록, 30분 세션 기준으로 에피소드 하나가 수백 MB에서 수 GB에 이르러요. 하루 수백 개씩 쌓이면 월 단위로 테라바이트 스토리지가 필요하니 압축 정책(예: 이미지 JPEG vs PNG, 관절 데이터 float16)을 일찍 결정하는 편이 좋아요.
마무리: 좋은 파이프라인이 곧 좋은 로봇 지능으로 이어져요
텔레오퍼레이션 데이터 수집 파이프라인은 겉보기엔 녹화 시스템 같지만, 실제로는 Physical AI 전체 성능의 상한을 결정하는 인프라예요. 동기화·품질 관리·표준 포맷·운영 체계 중 어느 한 축이라도 허술하면, 그 위에 올리는 파운데이션 모델이 아무리 크고 정교해도 기대만큼의 성능을 내기 어려워요.
앞으로 로봇 파운데이션 모델은 더 큰 데이터를 요구하고, 더 다양한 바디와 태스크를 포괄하게 될 거예요. 이 흐름에 올라타려면 지금부터 재현 가능하고, 확장 가능하며, 투명한 텔레오퍼레이션 파이프라인을 설계하는 것이 핵심이에요. 오늘 정리한 네 가지 단계와 품질 원칙을 출발점 삼아, 각자 환경에 맞는 파이프라인을 차분히 키워 가시면 좋겠어요.