로봇이 시뮬레이션에서는 완벽하게 동작하다가 실제 환경에 옮기면 갑자기 어색해지는 경험, 한 번쯤 들어보셨을 거예요. 이 차이를 좁히기 위해 등장한 핵심 기법이 바로 Domain Randomization, 즉 도메인 무작위화예요. 단순히 같은 환경을 더 정교하게 시뮬레이션하는 대신, 일부러 환경의 다양한 변수를 마구 흔들어서 로봇이 어떤 상황에도 견딜 수 있도록 학습시키는 전략이에요. 이 글에서는 도메인 무작위화의 원리, 어떤 변수를 어떻게 흔들어야 하는지, 실제 산업과 연구 현장에서는 어떻게 활용되는지를 차분하게 정리해 드릴게요.
Domain Randomization이란 무엇인가요
Domain Randomization은 시뮬레이션 환경의 외형, 물리 파라미터, 센서 노이즈 등을 무작위로 바꾸어 가며 정책을 학습시키는 방법이에요. 핵심 가정은 단순하면서도 강력해요. 학습 중에 충분히 다양한 환경을 경험한 정책이라면, 현실 세계 역시 그 다양성 안에 포함될 가능성이 높다는 거예요. 다시 말해 현실을 시뮬레이션에 정확히 복제하려고 애쓰는 대신, 시뮬레이션을 일부러 더 다양한 형태로 만들어 현실을 그 분포의 한 점처럼 다루는 발상이에요.
전통적 Sim2Real 접근과의 차이
기존의 Sim2Real 접근은 주로 현실에 가까운 시뮬레이션을 만드는 데 초점을 맞춰왔어요. 정밀한 물성 측정, 고해상도 텍스처, 정확한 조명 모델링이 대표적이에요. 그런데 아무리 정교한 시뮬레이션이라도 현실의 모든 요소를 100% 재현하기는 사실상 불가능해요. Domain Randomization은 이 완벽 재현 게임에서 발을 빼고, “어차피 차이가 있을 거라면 그 차이의 폭보다 더 넓은 변동을 학습 시 노출하자”는 발상의 전환을 보여줘요.
왜 잘 동작하나요
딥러닝 정책은 학습 데이터에 분포 밖의 입력이 들어오면 성능이 급락해요. 무작위화 학습은 정책이 핵심 단서, 예를 들어 물체의 형태나 상대 위치 같은 본질적 정보에 더 의존하도록 유도해요. 텍스처나 조명처럼 자주 바뀌는 요소를 무시하는 법을 자연스럽게 배우게 되는 셈이에요. 이런 강제적 일반화가 결과적으로 현실 환경에서도 안정적인 동작으로 이어져요.
어떤 요소를 무작위화하나요
도메인 무작위화는 무엇을 흔드느냐에 따라 크게 두 갈래로 나뉘어요. 시각적 요소를 흔드는 Visual Domain Randomization과, 물리 파라미터를 흔드는 Dynamics Randomization이에요. 둘은 자주 함께 사용되며, 어떤 작업이냐에 따라 비중이 달라져요.
시각적 요소 무작위화
카메라 기반 정책에서는 시각적 다양성이 곧 일반화의 폭이에요. 자주 바꾸는 항목으로는 다음과 같은 것들이 있어요.
- 조명: 광원의 위치, 강도, 색온도, 그림자의 방향을 무작위로 변경
- 텍스처와 색상: 바닥, 벽, 물체의 텍스처를 매 에피소드마다 새로 샘플링
- 카메라 파라미터: 시야각, 해상도, 노이즈, 모션 블러, 자체 노출 변동
- 방해 요소(distractor): 학습 목표와 무관한 잡다한 물체를 장면에 추가
이런 변동을 충분히 노출하면 정책은 색이 빨간 컵이든 파란 컵이든, 광량이 어둡든 밝든 “컵을 잡는다”는 본질적 행동을 일관되게 수행하게 돼요.
물리 파라미터 무작위화
운동학과 동역학을 다루는 작업, 예를 들어 보행이나 그래스핑에서는 물리 파라미터의 무작위화가 결정적이에요. 일반적으로 흔드는 변수는 다음과 같아요.
- 물체의 질량, 마찰 계수, 관성 모멘트
- 관절의 마찰, 댐핑, 백래시
- 모터 토크 한계, 응답 지연
- 지면의 강성, 미끄러짐, 약간의 기울기
- 센서 노이즈와 시간 지연(latency)
현실 로봇은 같은 모델이라도 개체마다 미세한 편차가 있고, 시간이 지나면 부품 마모로 특성이 변해요. Dynamics Randomization은 이런 변동성까지 학습 분포에 포함시켜 한 번 학습한 정책이 다양한 개체와 시간 경과에도 견디도록 만들어 줘요.
실전에서 도메인 무작위화 적용하기
도메인 무작위화를 처음 적용할 때 흔히 빠지는 함정은 “무작위화하면 무조건 좋다”는 오해예요. 실제로는 무작위화의 폭과 분포 설계가 성능을 좌우하는 핵심 변수예요. 너무 좁으면 현실에서 무너지고, 너무 넓으면 학습 자체가 수렴하지 않아요.
분포 폭 설계
실용적으로는 다음 순서로 접근하면 좋아요. 먼저 현실에서 측정 가능한 파라미터의 평균과 표준편차를 추정하고, 그 위에 안전 마진을 더해 균등 분포 또는 가우시안 분포의 범위를 설정해요. 학습 진행에 따라 점진적으로 범위를 넓히는 Curriculum 방식도 효과적이에요. 학습 초기에 너무 험한 환경을 던지면 정책이 무엇을 배워야 할지 신호를 잡지 못하기 때문이에요.
Automatic Domain Randomization
OpenAI의 로봇 손 큐브 풀이로 유명한 ADR(Automatic Domain Randomization)은 무작위화 폭을 사람이 일일이 정하지 않고, 학습 성능에 따라 자동으로 키우는 기법이에요. 정책이 현재 분포에서 잘 풀면 분포를 더 넓히고, 못 풀면 좁히는 식으로 적응적인 커리큘럼을 만들어요. 결과적으로 사람이 직관에만 의존해 폭을 정할 때 생기는 오류를 줄여줘요.
실패 사례 점검
무작위화를 적용했는데 현실에서 잘 안 된다면 다음을 점검해 보세요. 첫째, 시뮬레이션에는 있지만 학습 시 흔들지 않은 변수가 있는지 살펴봐요. 흔히 빠뜨리는 항목으로 카메라 외부 파라미터(배치 위치)와 통신 지연이 있어요. 둘째, 보상 함수가 시뮬레이션 특화 신호에 과적합되어 있지는 않은지 점검해요. 셋째, 정책이 실제로 시각 단서를 보고 행동하는지, 아니면 시뮬레이션의 타이밍 패턴에 의존하는지를 어블레이션으로 확인해야 해요.
대표 연구와 산업 사례
도메인 무작위화는 학술 논문 안에 머무르지 않고 실제 로봇 시스템에 깊숙이 들어와 있어요. 대표적인 사례들을 통해 이 기법이 어떤 식으로 응용되는지 살펴볼게요.
OpenAI의 로봇 손과 큐브
OpenAI는 Shadow Hand로 불리는 다섯 손가락 로봇 손이 큐브를 자유자재로 회전시키는 정책을 시뮬레이션만으로 학습시켰어요. 손의 마찰, 손가락 길이, 큐브 무게, 카메라 위치 등 수십 가지 변수를 동시에 무작위화했고, 학습이 진행될수록 분포 폭이 자동으로 늘어나는 ADR을 함께 적용했어요. 이 실험은 도메인 무작위화가 충분한 폭만 확보된다면 매우 정교한 손기술도 시뮬레이션 학습으로 가능하다는 가능성을 보여줬어요.
이족 보행과 사족 보행
Boston Dynamics 스타일의 동적 보행 로봇이나 ANYmal, Cassie 같은 학술용 보행 로봇에서도 도메인 무작위화는 표준 도구가 됐어요. 지면 마찰, 경사, 외부 충격, 모터 응답 등을 시뮬레이션에서 흔들어 학습한 정책이 야외의 자갈밭과 눈길에서도 잘 걸어요. 일부 연구는 시뮬레이션에서 학습한 정책을 별도의 미세 조정 없이 곧바로 실 로봇에 올려 안정적으로 동작시키는 데 성공했어요.
산업용 로봇 그래스핑
물류 창고와 제조 라인의 픽 앤 플레이스 로봇에서도 도메인 무작위화는 핵심 역할을 해요. 매번 다른 박스, 다른 조명, 다른 컨베이어 속도를 마주해야 하기 때문이에요. 합성 데이터에 도메인 무작위화를 적용해 학습한 비전 모델은 새로운 SKU(상품 코드)가 들어와도 별도 재학습 없이 잡을 수 있는 경우가 많아요. 로봇 팔 일반에 관한 위키백과 문서에서도 이런 적응형 인지가 현대 로봇의 핵심 능력으로 언급돼요.
도메인 무작위화의 한계와 보완 전략
도메인 무작위화는 강력하지만 만능은 아니에요. 한계를 이해하고 다른 기법과 적절히 조합하는 것이 중요해요.
학습 비용과 샘플 효율
분포가 넓어지면 정책이 학습해야 할 상황의 수가 폭발적으로 늘어나요. 그만큼 시뮬레이션 시간과 GPU 자원이 더 필요하고, 강화학습의 샘플 효율 문제도 두드러져요. 이 때문에 많은 연구가 도메인 무작위화에 모방 학습이나 사전학습된 시각 표현을 결합해서 학습 부담을 줄이고 있어요.
System Identification과 결합
실제 로봇에서 일부 파라미터를 측정해 시뮬레이션에 반영하는 System Identification은 도메인 무작위화와 자연스럽게 결합돼요. 측정 가능한 부분은 좁은 분포로, 측정이 어려운 부분은 넓은 분포로 무작위화하는 식이에요. 이렇게 하면 무의미하게 넓은 분포를 학습하지 않아도 돼서 효율이 좋아져요.
Real2Sim2Real 흐름
최근에는 현실 데이터를 일부 수집해 시뮬레이션의 분포 자체를 보정하는 Real2Sim2Real 파이프라인이 주목받아요. 도메인 무작위화로 견고한 베이스 정책을 만든 뒤, 현실에서 짧게 데이터를 모아 시뮬레이션 파라미터를 미세 조정하고 다시 정책을 다듬는 식이에요. 무작위화의 일반화 능력과 실측 데이터의 정밀함을 함께 가져가는 균형 잡힌 전략이에요.
마무리하며
Domain Randomization은 단순히 학습 트릭이 아니라, 시뮬레이션과 현실의 간극을 다루는 철학이라고 할 수 있어요. 현실을 완벽하게 재현하려는 욕심을 내려놓고, 대신 견고한 정책이 다양한 변동에 적응하도록 학습 분포를 설계하는 접근이에요. 시각과 동역학 양쪽에서 어떤 변수를 어떻게 흔들지, ADR과 같은 자동화 도구를 어떻게 활용할지, System Identification과 Real2Sim2Real 같은 보완 기법을 어떻게 조합할지를 함께 고민하면, 시뮬레이션에서 학습한 정책을 현실 로봇으로 옮기는 길이 한층 단단해질 거예요. Physical AI의 진화는 결국 이 간극을 얼마나 잘 다루느냐에 달려 있다고 해도 과언이 아니에요.