로봇 데이터 수집 UMI 범용 조작 인터페이스 원리와 구성 총정리

로봇이 컵을 집어 정리하거나 옷을 개는 모습을 보면 “저 동작은 어떻게 배웠을까?” 하는 궁금증이 생기죠. 최근 로봇 데이터 수집 UMI 범용 조작 인터페이스가 주목받는 이유가 바로 여기에 있어요. UMI는 로봇 없이도 사람이 손에 든 그리퍼로 시연 데이터를 모으고, 그 데이터를 실제 로봇 정책 학습에 그대로 쓰게 해 주는 방식이에요. 이 글에서는 UMI가 어떤 문제를 풀려고 등장했는지, 하드웨어와 소프트웨어는 어떻게 구성되는지, 그리고 Physical AI 분야에 어떤 의미가 있는지 차근차근 살펴볼게요.

로봇 조작 데이터가 부족한 이유

언어 모델과 다른 로봇 데이터의 현실

대규모 언어 모델은 인터넷에 쌓인 방대한 텍스트를 학습 재료로 삼을 수 있었어요. 반면 로봇 조작은 사정이 달라요. “어떤 장면을 보고, 그리퍼를 어느 위치로 어떤 속도로 움직였는가”라는 정보가 함께 묶인 데이터는 인터넷 어디에도 자연스럽게 쌓여 있지 않거든요. 결국 로봇 학습용 데이터는 누군가 직접 만들어야 하고, 이 과정이 비싸고 느리다는 점이 오랫동안 병목으로 지적돼 왔어요.

텔레오퍼레이션 방식의 한계

가장 널리 쓰인 방법은 사람이 조종 장치로 실제 로봇을 원격 조작하며 시연하는 텔레오퍼레이션이에요. 데이터 품질은 좋지만 몇 가지 제약이 있어요.

  • 시연할 때마다 실제 로봇 팔과 제어 장비가 현장에 있어야 해요.
  • 로봇을 옮기기 어려워 대부분 실험실 안에서만 데이터가 쌓여요.
  • 조작자가 로봇의 반응 지연에 익숙해지기까지 시간이 걸려요.

이렇게 모은 데이터는 환경 다양성이 부족해서, 학습된 정책이 처음 보는 부엌이나 사무실에서는 쉽게 흔들리는 문제가 있었어요.

사람 영상만으로는 부족한 이유

그렇다면 사람이 물건을 다루는 영상을 그대로 쓰면 어떨까요? 영상은 많지만 사람 손과 로봇 그리퍼는 생김새와 움직임이 달라요. 또 영상에는 손의 정확한 3차원 위치나 잡는 힘 같은 정보가 빠져 있어요. 이 “형태 차이(embodiment gap)”를 줄이지 않으면 사람 영상을 로봇 행동으로 옮기기가 매우 어려워요.

UMI 범용 조작 인터페이스와 로봇 그리퍼 데이터 수집
Photo by Sufyan on Unsplash

UMI 범용 조작 인터페이스란 무엇인가

연구의 출발점

UMI(Universal Manipulation Interface)는 스탠퍼드 대학교, 컬럼비아 대학교, 토요타 리서치 인스티튜트 연구진이 2024년에 발표한 데이터 수집 및 정책 학습 프레임워크예요. 핵심 아이디어는 단순해요. 로봇 그리퍼와 같은 모양의 손잡이형 도구를 사람이 들고 시연하면, 그 도구에 달린 카메라 영상과 궤적을 로봇이 그대로 학습할 수 있게 만들자는 거예요. 자세한 내용은 연구진이 공개한 UMI 논문(arXiv)에서 확인할 수 있어요.

“범용”이라는 말의 의미

여기서 범용은 두 가지 뜻을 담고 있어요. 하나는 특정 로봇 기종에 묶이지 않는다는 점이에요. 같은 방식으로 수집한 데이터를 서로 다른 로봇 팔에 적용할 수 있도록 설계됐어요. 다른 하나는 장소에 구애받지 않는다는 점이에요. 장비가 가볍기 때문에 가정, 카페, 사무실처럼 실험실 밖 다양한 환경에서 데이터를 모을 수 있어요.

시연자와 로봇이 같은 시점을 공유

UMI의 중요한 설계 원칙은 카메라를 그리퍼 손목 위치에 붙인다는 점이에요. 시연할 때와 로봇이 실제로 작동할 때 모두 같은 위치의 카메라로 세상을 보기 때문에, 사람이 본 장면과 로봇이 보는 장면이 거의 같아져요. 덕분에 형태 차이 문제가 크게 줄어들어요.

UMI 하드웨어 구성 살펴보기

손잡이형 그리퍼와 액션 카메라

UMI 수집 장치는 3D 프린팅으로 만든 손잡이형 그리퍼에 시판 액션 카메라를 결합한 형태예요. 방아쇠 같은 손잡이를 당기면 두 개의 손가락이 오므려지고, 손가락 끝에는 부드러운 소재를 써서 실제 로봇 그리퍼와 비슷하게 물체를 잡도록 했어요. 값비싼 센서 대신 구하기 쉬운 부품을 써서 여러 대를 만들어 동시에 데이터를 모으기 쉽다는 장점이 있어요.

어안 렌즈와 측면 거울

카메라에는 넓은 화각의 어안 렌즈를 사용해요. 시야가 넓으면 그리퍼 주변 맥락을 한 화면에 많이 담을 수 있어 정책 학습에 유리해요. 또 그리퍼 양옆에 작은 거울을 달아, 하나의 카메라로도 서로 다른 각도의 장면을 함께 볼 수 있게 했어요. 이 거울 영상은 깊이 정보를 간접적으로 제공해 물체와의 거리감을 파악하는 데 도움이 돼요.

관성 센서와 손가락 위치 추적

카메라에 내장된 관성 측정 장치(IMU) 데이터도 함께 기록해요. 그리고 손가락에 부착한 표식을 영상에서 인식해 그리퍼가 얼마나 벌어졌는지를 계산해요. 정리하면 하나의 시연에서 다음과 같은 정보가 함께 남아요.

정보 획득 방법 용도
손목 시점 영상 어안 렌즈 카메라 정책의 시각 입력
다각도 시야 측면 거울 반사 깊이 단서 보완
그리퍼 6자유도 궤적 영상과 IMU 기반 위치 추정 로봇 팔 동작 목표
그리퍼 벌림 폭 손가락 표식 인식 잡기·놓기 동작

소프트웨어 파이프라인과 정책 학습

시각 SLAM으로 궤적 복원

손에 든 장치에는 별도의 모션 캡처 장비가 없어요. 대신 카메라 영상과 IMU 값을 결합한 시각 기반 위치 추정 기술로 그리퍼가 공간에서 어떻게 움직였는지를 복원해요. 이런 기술은 흔히 SLAM(동시적 위치 추정 및 지도 작성)이라고 불러요. 덕분에 외부 장비 설치 없이 어느 장소에서든 시연 궤적을 얻을 수 있어요.

지연 시간 맞추기

실제 로봇은 카메라 영상이 들어오는 시점과 팔이 명령을 수행하는 시점 사이에 지연이 있어요. 사람이 시연할 때는 이런 지연이 없기 때문에 그대로 학습하면 동작 타이밍이 어긋날 수 있어요. UMI는 데이터 수집 단계와 로봇 실행 단계 모두에서 센서와 구동기의 지연을 측정해 보정하는 과정을 포함해요. 이 작은 차이가 빠르게 던지는 동작 같은 동적 작업의 성공을 좌우해요.

상대 좌표 행동 표현과 Diffusion Policy

UMI는 행동을 고정된 세계 좌표가 아니라 현재 그리퍼 위치를 기준으로 한 상대적 궤적으로 표현해요. 이렇게 하면 로봇이 어디에 설치돼 있든, 카메라 기준의 움직임만 맞추면 되기 때문에 다른 기종이나 환경으로 옮기기 쉬워져요. 정책 모델로는 여러 가능성 있는 동작을 확률적으로 생성하는 Diffusion Policy를 사용해, 사람마다 조금씩 다른 시연 방식도 자연스럽게 학습하도록 했어요.

UMI가 보여준 성과와 후속 연구

시연된 대표 작업

연구진은 UMI로 모은 데이터만으로 여러 난도의 작업을 로봇에게 가르쳤어요.

  1. 컵 정리: 컵을 집어 손잡이 방향을 맞춰 접시 위에 올려놓는 작업
  2. 동적 던지기: 물체를 빠르게 집어 목표 위치로 던지는 작업
  3. 양손 옷 개기: 두 팔이 협력해 천을 접는 작업
  4. 설거지: 여러 단계를 순서대로 수행해야 하는 긴 작업

특히 다양한 장소에서 모은 데이터로 학습한 정책이 처음 보는 환경과 물체에서도 작업을 수행하는 일반화 능력을 보였다는 점이 주목받았어요.

후속 연구의 확장

UMI 이후 이 아이디어를 넓히는 연구가 이어지고 있어요. 이동형 로봇이나 다리 달린 로봇에 적용하는 연구, 수집 속도와 정확도를 높이려는 개량형 장치, 사람 손에 가까운 다관절 손 조작으로 확장하려는 시도 등이 대표적이에요. 공통된 방향은 “로봇 없이, 더 싸게, 더 다양한 곳에서” 데이터를 모으는 것이에요.

UMI의 가장 큰 기여는 특정 모델 성능보다 “로봇 데이터를 누구나 현장에서 모을 수 있다”는 가능성을 보여 준 데 있어요.

남아 있는 과제

물론 한계도 있어요. 시각 위치 추정은 질감이 적은 벽이나 어두운 공간에서 정확도가 떨어질 수 있어요. 또 그리퍼 형태가 정해져 있어 잡을 수 있는 물체의 종류에 제약이 있고, 힘이나 촉감 정보는 충분히 담기 어려워요. 수집된 데이터의 품질을 관리하고 걸러내는 과정도 규모가 커질수록 중요한 숙제가 돼요.

결론: Physical AI 데이터 확보의 새로운 길

정리하면 UMI는 손에 드는 그리퍼와 손목 카메라, 시각 위치 추정, 지연 보정, 상대 좌표 행동 표현을 묶어 로봇 없이도 학습 가능한 조작 데이터를 모으는 방법을 제시했어요. 로봇 파운데이션 모델이 성장하려면 다양한 환경의 대규모 데이터가 꼭 필요한데, UMI는 그 수집 비용과 장소의 벽을 크게 낮췄다는 점에서 의미가 커요. 앞으로 이런 휴대형 수집 도구가 더 정교해지면, Physical AI가 실험실을 넘어 일상 공간으로 나오는 속도도 함께 빨라질 것으로 기대돼요.