로봇이 컵 하나를 부드럽게 들어 올리는 장면을 보면 너무 자연스러워서 단순해 보일 수 있어요. 그러나 그 뒤에는 물체의 형상 인식, 마찰 모델링, 접촉 안정성 평가, 그리고 손가락 좌표 계산까지 복잡한 의사결정이 숨어 있답니다. 오늘은 Physical AI의 핵심 축인 Grasp Planning(파지 계획) 알고리즘을 처음부터 차근차근 풀어드릴게요. 산업용 로봇 팔부터 휴머노이드 손까지, 어떤 원리로 물체를 잡는지 함께 살펴봐요.
Grasp Planning이란 무엇인가요
Grasp Planning은 로봇 매니퓰레이터가 주어진 물체를 안정적이고 효율적으로 잡기 위해 접촉점, 손가락 자세, 접근 경로, 그리고 적절한 파지 힘을 결정하는 알고리즘 분야예요. 단순히 “어디를 잡을까”만 정하는 것이 아니라, 잡은 뒤에도 흔들리지 않도록 물리적 균형까지 보장해야 한답니다.
핵심 입력과 출력
입력은 보통 물체의 3D 메시 또는 점군(point cloud), 환경 장애물 정보, 로봇 손의 기구학 모델이에요. 출력은 그리퍼 자세(SE(3) 변환), 손가락별 접촉 좌표, 접근 방향 벡터, 닫는 힘 등으로 구성되지요. 최근에는 RGB-D 카메라와 LiDAR가 결합된 멀티모달 센서 입력이 표준이 되어가고 있어요.
왜 어려운 문제일까요
물체의 형상은 무한히 다양하고, 표면 마찰 계수와 무게중심은 측정하기 까다로워요. 또한 손가락이 닿는 순간의 미세한 미끄러짐과 접촉력 분포까지 고려해야 하기 때문에 단일 정답이 존재하지 않는 고차원 연속 최적화 문제로 분류돼요. 이런 복잡성 때문에 해석적 접근과 학습 기반 접근이 공존하며 발전해 왔답니다.
전통적 해석 기반 알고리즘
1980년대부터 2010년대 초반까지는 접촉 역학(contact mechanics)과 마찰 원뿔(friction cone) 이론에 기반한 해석적 방법이 주류였어요. 물체 표면 위에서 후보 접촉점들을 샘플링한 뒤, 폐쇄성(closure) 조건을 만족하는 조합을 찾는 방식이지요.
Force Closure와 Form Closure
Form Closure는 손가락이 물체를 기하학적으로 완전히 가두어 외력이 어떤 방향에서 와도 빠져나가지 못하는 상태를 말해요. 반면 Force Closure는 마찰을 이용해 적절한 힘만 가하면 물체가 미끄러지지 않는 조건이에요. 산업 현장에서는 평행 그리퍼로 두 점에서 잡는 Force Closure 방식이 가장 많이 활용된답니다.
GraspIt!과 Dexterous Manipulation
2004년에 컬럼비아 대학에서 공개된 GraspIt!은 다양한 로봇 손 모델과 물체를 시뮬레이션하며 파지 품질 지표(epsilon-quality, volume-quality)를 평가하는 도구예요. 현재도 연구실에서 베이스라인으로 사용되며, 다섯 손가락 다관절 손의 복잡한 자세 최적화에서 강점을 보여요. 다만 실제 환경의 노이즈와 부분 관측 문제에는 취약하다는 한계가 있어요.
샘플링 기반 접근
물체 표면에서 수천 개의 후보 파지 자세를 무작위로 생성한 뒤, 각각의 안정성 지표를 평가해 상위 후보만 남기는 방식도 꾸준히 활용돼요. 계산량은 많지만 병렬화가 쉬워서 GPU 환경에서는 여전히 매력적이랍니다.
딥러닝 기반 Grasp Planning의 부상
2016년 UC Berkeley의 Dex-Net 프로젝트가 등장한 이후, Grasp Planning은 폭발적으로 발전했어요. 수백만 개의 합성 파지 데이터를 만들고 CNN이 RGB-D 이미지에서 바로 파지 품질을 예측하도록 학습시키는 패러다임이 자리잡았지요.
Dex-Net 시리즈의 진화
Dex-Net 1.0은 평행 그리퍼 기준 280만 개의 파지 샘플로 학습되었고, 이후 2.0에서는 GQ-CNN(Grasp Quality CNN)이 도입되어 단일 깊이 이미지에서 99% 정확도로 안정 파지를 추정할 수 있게 되었어요. 4.0에 이르러서는 빨판(suction)과 양손 그리퍼까지 확장되며 실제 물류 현장에 투입되고 있답니다.
GraspNet-1Billion
중국 상하이 자오통 대학이 공개한 GraspNet-1Billion은 실제 88개 물체에 대해 10억 개에 가까운 6-DoF 파지 라벨을 제공하는 대규모 벤치마크예요. 단순한 2D 사각형 파지를 넘어 임의 방향의 6자유도 그리퍼 자세를 직접 회귀하는 모델들이 이 데이터셋 위에서 경쟁하고 있어요. 현재 SOTA 모델들은 클러터 환경에서도 80% 이상의 성공률을 보고하고 있답니다.
Transformer와 Diffusion의 등장
2024년 이후로는 점군 데이터를 토큰처럼 처리하는 Point Transformer 기반 모델과 파지 자세 분포를 직접 생성하는 Diffusion Policy가 새로운 흐름을 만들고 있어요. 특히 Diffusion 기반 방식은 다중 모드 해결책(여러 가지 잡는 방법)을 자연스럽게 표현할 수 있어서 인간의 손재주에 더 가까운 행동을 보여준답니다.
End-to-End 학습과 모방학습의 결합
최근의 큰 변화는 Grasp Planning을 별도 모듈이 아니라 전체 로봇 정책의 일부로 통합하려는 시도예요. Vision-Language-Action 모델인 RT-2, OpenVLA 등은 “빨간 컵을 들어줘”라는 자연어 명령을 받아 카메라 영상에서 직접 파지 동작을 생성해요.
모방학습 기반 접근
구글 딥마인드의 ALOHA, 스탠포드의 Mobile ALOHA는 사람이 텔레오퍼레이션으로 시연한 데이터로 학습되며, 명시적인 파지 계산 없이도 다양한 물체를 능숙하게 다룬답니다. 모방학습은 마찰 모델이나 접촉 시뮬레이션을 우회할 수 있다는 장점이 크지만, 시연 데이터 수집 비용이 만만치 않아요.
강화학습과의 시너지
NVIDIA Isaac Sim, MuJoCo MJX 같은 GPU 가속 시뮬레이터에서 수만 개의 환경을 병렬로 굴리며 파지 정책을 학습하는 사례도 늘고 있어요. 도메인 무작위화(domain randomization)를 통해 마찰, 무게, 조명, 카메라 노이즈를 다양화하면 시뮬레이션에서 학습한 정책이 실세계로 잘 전이된다는 사실이 여러 논문에서 검증되었답니다.
실전 적용 사례와 성능 지표
Grasp Planning이 가장 활발히 쓰이는 곳은 전자상거래 물류 자동화예요. 아마존 로보틱스, 오카도(Ocado), 그리고 한국의 쿠팡 풀필먼트 센터에서는 매일 수백만 건의 픽업이 로봇 팔로 처리되고 있답니다. 일반적으로 평균 픽률(picks per hour)이 600~1,000회를 넘는 시스템이 상용 기준이에요.
제조와 조립
전통적인 산업용 로봇은 정해진 위치의 부품만 잡았지만, 최근에는 빈 피킹(bin picking)이라 불리는 무질서한 부품 더미에서의 파지가 표준이 되어가고 있어요. 화낙(FANUC), ABB, 두산로보틱스 등 주요 제조사들이 자체 비전 시스템과 Grasp Planning 알고리즘을 패키지로 제공하고 있답니다.
서비스 로봇과 수술 로봇
주방에서 식기를 정리하는 가정용 로봇, 그리고 봉합사를 정밀하게 다루는 수술 로봇에도 Grasp Planning이 응용돼요. 특히 수술 분야에서는 조직의 점탄성과 미세한 힘 제어가 핵심이라, 일반 산업용 알고리즘과는 다른 부드러운 접촉(soft contact) 모델이 필요하답니다.
평가 지표
- 성공률(Success Rate): 시도 대비 안정적으로 들어 올린 비율
- 견고성(Robustness): 외부 교란이 가해졌을 때 떨어뜨리지 않는 정도
- 계획 시간(Planning Time): 한 번의 파지를 결정하는 데 걸리는 시간
- 일반화(Generalization): 학습에 없던 새로운 물체에서의 성능
앞으로의 과제와 연구 방향
Grasp Planning은 이미 많은 발전을 이루었지만, 여전히 풀리지 않은 숙제가 많아요. 투명한 물체, 변형 가능한 천이나 줄, 그리고 부분 관측 상황에서의 안정성은 학계의 뜨거운 주제랍니다.
촉각 센서와 멀티모달 융합
비전만으로는 잡은 뒤의 미끄러짐을 감지하기 어려워서, MIT의 GelSight나 메타의 DIGIT 같은 광학식 촉각 센서가 빠르게 보급되고 있어요. 시각과 촉각을 통합하면 부서지기 쉬운 물체도 안정적으로 다룰 수 있게 된답니다.
대규모 파운데이션 모델
이미 RT-X, Open X-Embodiment 같은 협력 데이터셋이 22개 로봇 플랫폼의 시연을 모으고 있어요. 머지않아 GPT 수준의 로봇 파운데이션 모델이 출현해서, 별도 학습 없이도 새로운 물체를 능숙하게 다룰 수 있는 시대가 올 거라 기대돼요.
마무리하며
Grasp Planning은 해석적 기하학에서 시작해 딥러닝, 그리고 거대 멀티모달 모델로 진화해 온 흥미진진한 분야예요. 단순해 보이는 “물체 잡기”가 사실은 Physical AI의 모든 핵심 요소를 응축한 미니어처랍니다. 만약 로봇 학습에 입문하고 싶다면, GraspNet 데이터셋과 Isaac Sim 튜토리얼부터 시작해 보는 것을 추천드려요. 더 자세한 이론적 배경은 위키피디아 Robotic grasping 문서와 GraspNet 공식 사이트에서 확인하실 수 있어요.