요즘 로봇 업계에서 가장 뜨거운 키워드 중 하나가 바로 로봇 파운데이션 모델(RFM, Robot Foundation Model)이에요. 대규모 언어 모델(LLM)이 자연어 처리의 판도를 뒤집은 것처럼, 이제는 로봇 분야에서도 하나의 모델로 다양한 작업을 해결하려는 시도가 활발히 이뤄지고 있어요. 과연 RFM이란 정확히 무엇이고, 왜 지금 이 시점에 각광받고 있을까요? 또 앞으로 어떤 방향으로 발전해 나갈지 차근차근 살펴볼게요.
로봇 파운데이션 모델이란 무엇인가요
로봇 파운데이션 모델은 방대한 양의 로봇 데이터(영상, 센서 신호, 동작 궤적, 언어 명령 등)를 사전 학습하여 다양한 하드웨어와 과제에 일반화할 수 있도록 설계된 대규모 신경망이에요. 기존의 로봇 제어 방식은 특정 로봇, 특정 환경, 특정 작업마다 별도의 정책 네트워크를 학습시켜야 했어요. 예컨대 공장에서 상자를 집는 로봇과 가정용 커피머신을 조작하는 로봇은 거의 처음부터 새로 모델을 훈련시키는 수준이었죠.
반면 RFM은 하나의 거대한 모델이 범용 기반(foundation) 역할을 하면서, 소량의 파인튜닝이나 프롬프팅만으로 새로운 로봇과 새로운 작업에 빠르게 적응할 수 있도록 만드는 접근이에요. 즉 “로봇판 GPT”를 지향하는 것이라고 생각하면 이해가 쉬워요.
LLM과의 결정적 차이
언어 모델은 텍스트라는 이산적이고 풍부한 데이터 위에서 학습돼요. 하지만 로봇은 물리 세계와 직접 상호작용해야 하기 때문에 관절 각도, 힘, 속도, 시간 동기화 같은 연속적이고 다차원적인 액션 공간을 다뤄야 해요. 또 인터넷에 널린 텍스트와 달리 로봇 시연 데이터는 수집 비용이 비싸고 희소해요. 이 때문에 RFM은 LLM보다 훨씬 어려운 조건에서 일반화를 이뤄내야 하는 도전 과제를 안고 있어요.
왜 지금 RFM이 떠오르나요
첫째, 트랜스포머와 확산 모델(diffusion model) 등 생성형 AI 기술이 로봇 정책 학습에 성공적으로 접목되기 시작했어요. 둘째, Open X-Embodiment 프로젝트처럼 수십 개 연구 기관이 로봇 데이터를 통합 공개하면서 데이터 병목이 조금씩 풀리고 있어요. 셋째, Nvidia·Figure·1X·Physical Intelligence 등 거대 자본이 휴머노이드 시장에 유입되면서 파운데이션 모델 연구에 강력한 추진력이 붙었죠.
RFM의 핵심 구성 요소
로봇 파운데이션 모델을 구성하는 기술 요소는 크게 네 가지로 정리할 수 있어요. 각각이 서로 맞물려 돌아가야 실제 환경에서 의미 있는 성능을 낼 수 있어요.
1. 멀티모달 인코더
카메라 영상(RGB, Depth), 관절 엔코더, 촉각 센서, 언어 지시문 등 이질적인 입력을 통합 표현으로 묶어 주는 역할을 해요. 비전 인코더로는 DINOv2, SigLIP, CLIP 계열이 자주 쓰이고, 언어 이해를 위해 소형 LLM(예: Llama 3, Gemma)을 붙이는 방식도 보편화됐어요. 이 단계에서 시공간 토큰화(spatio-temporal tokenization)가 잘 이뤄져야 후속 정책이 의도를 올바르게 해석할 수 있어요.
2. 정책 헤드(Action Decoder)
추론된 상황 표현을 실제 액션으로 바꾸는 부분이에요. 최근에는 Diffusion Policy와 Action Chunking Transformer(ACT)가 대표적이에요. Diffusion Policy는 노이즈 제거 과정을 통해 부드럽고 다봉(multi-modal) 분포를 가지는 동작을 생성할 수 있어요. ACT는 한 번에 수십 스텝의 액션 청크를 예측해 시간적 일관성을 확보해요. Google DeepMind의 RT-2는 액션을 토큰으로 인코딩하여 LLM과 동일한 방식으로 다루는 Vision-Language-Action(VLA) 구조를 제안했고, 이후 π0, OpenVLA 같은 후속 모델들이 이 흐름을 이어받고 있어요.
3. 대규모 학습 데이터
RFM의 성능은 결국 데이터 규모와 다양성에 좌우돼요. Open X-Embodiment는 22개 로봇 플랫폼, 527개 스킬, 16만 개 이상의 에피소드를 공개하며 이 분야에 이정표를 세웠어요. 여기에 텔레오퍼레이션(원격 조작)으로 수집된 고품질 시연, 그리고 Isaac Sim이나 MuJoCo 같은 시뮬레이터에서 자동 생성된 합성 데이터가 결합되면서 학습 규모가 빠르게 확장되고 있어요.
4. Sim2Real과 도메인 적응
아무리 시뮬레이션 데이터가 많아도 실제 로봇에 그대로 쓰면 성능 저하(reality gap)가 발생해요. 이를 메우기 위해 도메인 랜덤화, 시스템 식별, 실제 데이터와의 공동 학습 같은 기법이 쓰여요. 최근에는 생성형 AI로 시뮬레이션 환경 자체를 풍부하게 만들어 주는 RoboCasa, HoloDeck 같은 프로젝트도 주목받고 있어요.
주요 RFM 모델과 연구 흐름
지금까지 발표된 대표적인 로봇 파운데이션 모델을 훑어보면 기술 발전의 궤적을 한눈에 파악할 수 있어요.
Google의 RT 시리즈
2022년 RT-1을 시작으로, RT-2는 인터넷 규모의 비전-언어 사전학습을 로봇 액션 예측에 결합한 첫 VLA 모델로 평가받아요. 이후 RT-X는 Open X-Embodiment 데이터셋을 활용한 크로스-임바디먼트 학습을 선보이며 “서로 다른 로봇에서도 지식이 공유된다”는 점을 실증했어요.
Physical Intelligence의 π0
Physical Intelligence는 플로우 매칭(flow matching) 기반의 π0 모델을 공개해 일반 가정 및 산업 환경에서 다양한 조작 작업을 수행하는 범용성을 보여 줬어요. 이어 π0.5는 더 긴 시간 범위의 작업(빨래 개기, 주방 정리 등)을 한 번에 수행하도록 설계되었어요.
Nvidia GR00T와 Isaac GR00T N1
Nvidia의 GR00T는 휴머노이드 전용 파운데이션 모델 프로젝트로, GTC 2024에서 처음 공개된 이후 꾸준히 업데이트되고 있어요. Isaac Lab, Omniverse와 연동되어 대규모 시뮬레이션 학습을 지원하고, Jetson Thor 플랫폼에서 실시간 추론이 가능하도록 최적화되어 있어요.
오픈소스 생태계
Hugging Face가 주도하는 LeRobot은 RFM 연구 민주화의 상징이라 할 수 있어요. 저렴한 SO-100 로봇팔, 공개된 데이터셋, 사전학습 정책을 한 곳에 모아 누구나 실습할 수 있도록 했어요. OpenVLA는 7B 규모 VLA 모델을 오픈 웨이트로 공개해 학계·스타트업 연구를 가속하고 있어요.
현재의 한계와 해결 과제
RFM 분야가 빠르게 성장하고 있지만 상용화까지 가려면 넘어야 할 산이 여전히 많아요. 솔직하게 한계도 짚어 볼 필요가 있어요.
데이터 양과 질의 문제
텍스트·이미지에 비해 로봇 행동 데이터는 여전히 작아요. Open X-Embodiment도 LLM 훈련에 쓰인 토큰 수에 비하면 극히 일부예요. 텔레오퍼레이션은 느리고 비용이 많이 들어서, 최근에는 비전 기반 핸드 트래킹이나 VR 장비를 활용한 저비용 수집 장치 개발이 활발해요.
안전성과 신뢰성
가정·의료·공장 등 실제 환경에서는 잘못된 동작 한 번이 큰 사고로 이어질 수 있어요. 확률적 정책을 사용하는 RFM은 예측 불가능한 행동을 보일 위험이 있기 때문에 안전 필터링, 불확실성 추정, 인간 개입 프로토콜 같은 보조 장치가 필요해요.
평가 벤치마크 부족
LLM에는 MMLU·HumanEval 같은 표준 벤치마크가 있지만 로봇은 하드웨어·환경 편차 때문에 공정한 비교가 어려워요. 그래서 LIBERO, SimplerEnv, CALVIN 같은 시뮬레이션 기반 벤치마크와, 표준화된 실제 로봇 테스트베드 구축이 연구 커뮤니티의 숙제로 남아 있어요.
연산 자원과 배포
수십억 파라미터 VLA 모델을 실시간(수십 Hz)으로 돌리려면 로봇에 탑재된 온보드 GPU로는 벅찰 때가 많아요. 모델 증류, 양자화, 엣지 최적화 추론 엔진, 그리고 클라우드-엣지 하이브리드 구조 등이 적극적으로 연구되고 있어요.
RFM의 미래 전망
향후 3~5년간 RFM 분야는 몇 가지 뚜렷한 방향으로 진화할 것으로 보여요.
크로스-임바디먼트의 심화
하나의 모델이 로봇 팔, 휴머노이드, 모바일 매니퓰레이터, 쿼드러페드까지 폭넓게 커버하는 방향으로 갈 거예요. 이미 RT-X, CrossFormer 같은 연구들이 그 가능성을 입증했고, 앞으로는 형태(morphology)와 무관한 일반 지능을 목표로 하는 시도가 늘어날 거예요.
월드 모델과의 결합
환경의 동역학을 예측하는 월드 모델(예: Nvidia Cosmos, DeepMind Genie)이 RFM의 계획·추론 능력을 강화할 핵심 축으로 떠오르고 있어요. 단순한 모방 학습을 넘어, 모델 내부에서 “상상”한 시나리오로 스스로 학습하는 구조가 확산될 거예요.
휴머노이드 대중화
Figure 02, 1X Neo, Unitree G1, Tesla Optimus, Apptronik Apollo 등 휴머노이드가 2025~2026년 사이 잇달아 상업 환경에 투입되고 있어요. 이들 하드웨어가 쌓는 실전 데이터가 다시 RFM 학습에 투입되는 선순환 구조가 만들어지면, 모델 품질 향상 속도는 더욱 빨라질 거예요.
가정용 로봇의 등장
공장 자동화를 넘어 가정 환경에서 요리·청소·돌봄을 수행하는 로봇이 현실적인 목표로 떠오르고 있어요. RFM의 일반화 능력이 충분히 높아지면, 사용자는 “빨래 좀 개줘” 같은 자연어 명령만으로 로봇을 부릴 수 있게 될 거예요. 바로 이 지점이 Physical AI 시대의 본격적인 개막이라고 할 수 있어요.
마치며: RFM이 여는 Physical AI의 시대
로봇 파운데이션 모델은 단순한 기술 유행이 아니라, AI가 디지털 세계를 넘어 물리 세계로 나아가는 전환점이에요. 아직 해결해야 할 과제가 많지만, 데이터·하드웨어·알고리즘이 맞물려 빠르게 발전하고 있고, 우리가 체감할 수 있는 변화가 생각보다 가까운 미래에 찾아올 가능성이 높아요. 엔지니어·연구자라면 LeRobot 같은 오픈 프레임워크로 직접 실습해 보는 것이, 일반 독자라면 휴머노이드 스타트업들의 데모 영상을 꾸준히 팔로우해 보는 것이 RFM 시대를 이해하는 가장 좋은 출발점이 될 거예요. 더 깊은 기술 문헌은 위키피디아의 Foundation Model 문서에서 확인해 볼 수 있어요.