로봇 공학과 인공지능의 경계가 빠르게 허물어지고 있어요. 특히 2024년 이후 Hugging Face가 공개한 LeRobot은 연구자와 개발자 모두에게 큰 주목을 받고 있는 오픈소스 로봇 학습 라이브러리입니다. “로봇 학습을 더 쉽게, 더 민주적으로”라는 철학 아래 만들어진 이 라이브러리는 어떤 특징을 가지고 있을까요? 지금부터 LeRobot의 모든 것을 파헤쳐 볼게요.
LeRobot이란 무엇인가요?
탄생 배경과 목표
LeRobot은 2024년 초 Hugging Face가 공개한 로보틱스 전용 머신러닝 라이브러리입니다. 자연어 처리(NLP) 분야에서 Transformers 라이브러리가 했던 역할을 로봇 학습 분야에서 담당하겠다는 포부를 갖고 시작했어요. 기존 로봇 학습 연구는 각 연구팀이 독자적인 코드베이스를 구축해야 했고, 데이터셋과 모델을 공유하는 표준 방식이 없었습니다. LeRobot은 이런 분산된 생태계를 하나로 통합하는 것을 목표로 합니다.
핵심 철학: “모두를 위한 로봇 AI”
LeRobot의 핵심 철학은 접근성과 재현성입니다. 고가의 로봇 장비 없이도 사전 학습된 정책(policy)을 다운로드해 시뮬레이터에서 바로 테스트해볼 수 있고, 다양한 오픈소스 데이터셋을 즉시 활용할 수 있어요. 연구 결과를 커뮤니티와 공유하는 문화를 장려해 전체 로봇 AI 생태계의 발전을 가속화하는 것이 LeRobot의 지향점입니다.
주요 지원 알고리즘
- ACT (Action Chunking with Transformers): 트랜스포머 기반 모방학습 알고리즘으로, 복잡한 조작 작업에서 탁월한 성능을 보여줘요.
- Diffusion Policy: 확산 모델을 정책 학습에 적용한 방법으로, 다양한 행동 분포를 학습하는 데 강점이 있습니다.
- TDMPC2: 모델 기반 강화학습 알고리즘으로, 샘플 효율이 높은 것이 특징이에요.
- VQ-BeT: 이산화된 행동 공간을 활용하는 행동 트랜스포머 계열 알고리즘입니다.
LeRobot 설치 및 환경 설정
시스템 요구사항
LeRobot을 시작하기 전에 몇 가지 환경을 준비해야 해요. 파이썬 3.10 이상이 필요하며, GPU 환경(CUDA 12.x 권장)이 있으면 학습 속도를 크게 높일 수 있습니다. 맥OS(Apple Silicon)에서도 MPS 백엔드를 통해 가속 학습이 가능해요. 최소 16GB RAM과 50GB 이상의 디스크 공간을 권장합니다.
설치 방법
LeRobot 설치는 pip를 통해 간단하게 할 수 있어요. 기본 설치는 다음과 같습니다.
- 가상환경 생성:
conda create -n lerobot python=3.10 - 활성화:
conda activate lerobot - LeRobot 설치:
pip install lerobot - 시뮬레이터 포함 설치:
pip install "lerobot[gym_pusht]"
시뮬레이션 환경을 포함한 전체 의존성을 설치하면 gym-pusht, gym-xarm, gym-aloha 등의 환경에서 바로 실험을 시작할 수 있습니다. 깃허브 저장소에서 최신 개발 버전을 클론해서 설치하는 방법도 있는데, 최신 기능을 먼저 사용해보고 싶다면 이 방법을 추천해요.
Hugging Face 계정 연동
LeRobot의 강점 중 하나는 Hugging Face Hub와의 완벽한 통합입니다. 허브에 올라온 수십 개의 사전 학습 모델과 데이터셋을 huggingface-cli login 한 번으로 바로 활용할 수 있어요. 자신이 학습한 모델을 허브에 공유하는 것도 아주 간단합니다.
데이터셋 구조와 LeRobotDataset 활용법
LeRobotDataset 포맷이란?
LeRobot은 LeRobotDataset이라는 표준화된 데이터셋 포맷을 제공해요. 이 포맷은 로봇의 관찰(observation), 행동(action), 에피소드 메타데이터를 Parquet 파일과 비디오 파일로 구조화해 저장합니다. 서로 다른 연구팀이 수집한 데이터를 동일한 방식으로 불러오고 처리할 수 있어서, 데이터 전처리에 소요되는 시간을 획기적으로 줄여줘요.
주요 공개 데이터셋
Hugging Face Hub에는 LeRobot 포맷으로 정리된 다양한 로봇 조작 데이터셋이 있어요.
- lerobot/pusht: T자형 블록을 목표 위치로 밀어넣는 2D 환경 데이터셋. 모방학습 연구의 기본 벤치마크로 널리 사용됩니다.
- lerobot/aloha_sim_transfer_cube_human: ALOHA 로봇 시뮬레이션 환경에서 수집한 양손 조작 데이터입니다.
- lerobot/xarm_lift_medium_replay: xArm 로봇팔이 물체를 들어올리는 작업 데이터셋이에요.
- lerobot/columbia_cairlab_pusht_real: 실제 물리 환경에서 수집한 pusht 태스크 데이터입니다.
데이터셋 로드와 탐색
LeRobotDataset을 불러오는 것은 매우 직관적이에요. from lerobot.common.datasets.lerobot_dataset import LeRobotDataset으로 임포트한 뒤, dataset = LeRobotDataset("lerobot/pusht")처럼 한 줄로 데이터셋을 로드할 수 있습니다. 데이터셋 객체는 에피소드 수, 프레임 수, 관찰 및 행동 차원 등 다양한 메타데이터를 자동으로 제공해줘요.
모델 학습: ACT 알고리즘 실습
ACT(Action Chunking with Transformers) 이해하기
ACT는 Stanford 대학교의 Zipeng Fu 등이 ALOHA 로봇 연구에서 발표한 트랜스포머 기반 모방학습 알고리즘이에요. 핵심 아이디어는 단일 행동 대신 행동 청크(action chunk), 즉 여러 연속 행동을 한 번에 예측하는 것입니다. 이를 통해 학습 안정성이 크게 향상되고, 시간적으로 복잡한 조작 작업을 잘 학습할 수 있어요. LeRobot에서는 ACT를 가장 기본적인 베이스라인 알고리즘으로 제공하고 있습니다.
학습 스크립트 실행
LeRobot에서 모델을 학습시키려면 python lerobot/scripts/train.py 명령어를 사용해요. 설정 파일은 Hydra 기반으로 관리되어, 커맨드라인에서 파라미터를 유연하게 오버라이드할 수 있습니다. 예를 들어 다음 명령어로 pusht 데이터셋에 ACT 정책을 학습시킬 수 있어요.
python lerobot/scripts/train.py policy=act env=pusht dataset_repo_id=lerobot/pusht
학습 과정은 Weights & Biases(wandb) 또는 로컬 텐서보드를 통해 모니터링할 수 있어요. 손실 곡선, 성공률, 예측 행동 시각화 등 다양한 메트릭을 실시간으로 확인하면서 학습 상태를 점검할 수 있습니다.
사전 학습 모델 평가
허브에 공개된 사전 학습 모델을 내려받아 시뮬레이터에서 바로 평가해볼 수도 있어요. python lerobot/scripts/eval.py -p lerobot/act_pusht_image처럼 모델 ID를 지정하면 자동으로 모델을 다운로드하고 평가 에피소드를 실행합니다. 이 기능 덕분에 자신이 직접 학습하지 않더라도 최신 연구 결과물의 성능을 즉시 확인할 수 있어요.
실제 로봇 적용과 하드웨어 통합
지원 로봇 플랫폼
LeRobot은 시뮬레이션을 넘어 실제 로봇 하드웨어와의 통합도 지원합니다. 현재 공식 지원되는 플랫폼으로는 Koch v1.1(저비용 오픈소스 로봇팔), SO-ARM100(단일 팔 조작 로봇), ALOHA(양손 조작 로봇 시스템) 등이 있어요. 특히 Koch v1.1은 3D 프린터와 저가형 서보모터로 자체 제작이 가능해 DIY 로봇 학습 실험에 인기가 높습니다.
데이터 수집 파이프라인
실제 로봇으로 데이터를 수집하는 과정도 LeRobot이 체계적으로 지원해요. 텔레오퍼레이션(원격 조종)을 통해 사람이 직접 시연 데이터를 수집하고, 이를 LeRobotDataset 포맷으로 자동 변환하는 스크립트가 제공됩니다. 키보드, 스페이스마우스, 리더-팔로워(leader-follower) 구성 등 다양한 텔레오퍼레이션 방식을 지원해요. 수집된 데이터는 즉시 Hugging Face Hub에 업로드해 커뮤니티와 공유할 수 있습니다.
정책 배포와 실시간 추론
학습이 완료된 정책을 실제 로봇에 배포하는 과정도 간결합니다. eval.py 스크립트를 실제 로봇 환경에 맞게 설정하면, 카메라 피드와 로봇 센서 데이터를 입력으로 받아 실시간으로 행동을 예측하고 실행할 수 있어요. 레이턴시 최소화를 위한 최적화 옵션도 제공되어 현장 적용성을 높였습니다. 자세한 기술 스펙은 Hugging Face LeRobot 공식 페이지에서 확인할 수 있어요.
커뮤니티와 생태계 현황
빠르게 성장하는 오픈소스 생태계
LeRobot은 공개 이후 GitHub에서 수만 개의 스타를 기록하며 로봇 AI 오픈소스 프로젝트 중 가장 주목받는 저장소 중 하나로 자리잡았어요. 2025년 기준 허브에 등록된 LeRobot 모델과 데이터셋은 수백 개에 달하며, 전 세계 연구자와 개발자들이 꾸준히 기여하고 있습니다. LeRobot GitHub 저장소에서 이슈와 PR을 통해 활발한 논의가 이루어지고 있어요.
교육 자료와 학습 리소스
LeRobot 팀은 다양한 튜토리얼과 예제 노트북을 제공하고 있어요. Colab 노트북 형태로 제공되는 입문 튜토리얼은 환경 설정 없이 브라우저에서 바로 실행해볼 수 있어 초보자도 쉽게 따라할 수 있습니다. Discord 커뮤니티에서는 전 세계 사용자들이 질문과 경험을 공유하며 서로 도움을 주고 있어요.
기업 및 연구기관의 활용
Stanford, MIT, Carnegie Mellon 등 주요 로봇공학 연구기관에서도 LeRobot을 연구 인프라로 채택하는 사례가 늘고 있어요. 스타트업과 산업계에서도 프로토타입 개발 단계에서 LeRobot을 활용해 개발 속도를 높이는 사례가 보고되고 있습니다. Hugging Face의 강력한 브랜드 파워와 기존 NLP/Vision 커뮤니티와의 시너지 덕분에 로봇 AI 연구의 저변이 빠르게 확대되고 있어요.
결론: LeRobot이 로봇 AI의 미래를 바꾸는 이유
LeRobot은 단순한 도구를 넘어 로봇 AI 연구의 민주화를 실현하는 플랫폼입니다. 표준화된 데이터셋 포맷, 다양한 최신 알고리즘 지원, Hugging Face Hub와의 완벽한 통합은 연구자와 개발자 모두에게 엄청난 시간을 절약해줘요. 고가의 로봇이 없어도, 방대한 연구팀 없이도 최신 로봇 학습 기술을 경험하고 발전시킬 수 있는 시대가 열렸습니다. Physical AI의 시대를 준비하고 싶다면, LeRobot은 최고의 출발점이에요.