쉽지 않은 이 문제를 해결하기 위해 중국의 AI 로봇 스타트업 BeingBeyond(智在无界, 베이징 인공지능 스타트업)이 세계 최초의 ‘은밀한 촉각 세계 행동 모델’, Being-H0.8을 발표했습니다.
50만 시간이 넘는 영상 데이터로 훈련되었다고 하는 이 모델, 과연 어떤 의미를 가지는지 차근차근 살펴보겠습니다.
로봇이 ‘느낀다’는 게 왜 어려운 일일까요?
우리가 일상에서 물건을 집거나 만질 때, 손끝의 감각은 생각보다 훨씬 복잡한 정보를 처리합니다. 물체의 딱딱함, 미끄러움, 온도, 압력… 이 모든 것이 순식간에 뇌로 전달되고, 우리는 무의식적으로 힘을 조절하게 됩니다.
그런데 로봇은 어떨까요? 지금까지 대부분의 로봇 AI 모델은 ‘세계 모델(World Model)’이라는 방식을 사용해 왔습니다. 세계 모델이란 쉽게 말해, 카메라로 주변 환경을 보고 “다음에 어떤 일이 일어날지”를 예측해서 행동을 결정하는 방식입니다. 쉽게 말해서 눈으로만 세상을 파악하는 것과 같다고 할 수 있죠.
문제는 시각 만으로는 한계가 있다는 겁니다. 화면 상으로는 손이 물체에 닿은 것처럼 보여도, 실제로 얼마나 힘이 가해지고 있는지, 물체가 미끄러지고 있는지는 알 수 없습니다.
그냥 딱 생각해봐도, 우리가 달걀 같은 거 잡을 때나 뭔가 얇고 금새 터질 거 같은 것들 잡을 때는 만져보고 느낌으로 알고 하잖아요. (물론 달걀 같은 거는 어렸을 때 부터 시행 착오를 겪으면서 경험으로 알게 되었겠지만요) 그런데 로봇은 그런 ‘느낌’을 알 수 없으니 달걀을 집다가 깨뜨리거나, 얇은 과자를 집으려다 부숴버리는 일이 생기게 되는 것이죠.
이 문제를 해결하려면 로봇에게 ‘촉각’을 줘야 합니다. 그런데 촉각 데이터를 대규모로 수집하는 것 자체가 엄청난 난제였습니다. 촉각 센서는 종류도 다양하고, 데이터 형식도 제각각이며, 무엇보다 기존의 대규모 영상 데이터에는 촉각 정보가 전혀 포함되어 있지 않았으니까요.
Being-H0.8이란 무엇인가? 핵심 개념 쉽게 풀기
Being-H0.8은 BeingBeyond가 2026년 7월 발표한 세계 최초의 ‘은밀한 촉각 세계 행동 모델(Latent Tactile World-Action Model)’입니다. 이름이 복잡해 보이지만, 핵심은 간단합니다.
기존 세계 모델이 “눈으로 보고 행동을 결정”했다면, Being-H0.8은 여기에 촉각 예측과 실시간 촉각 피드백을 더한 것입니다. 구체적으로는 세 단계로 작동합니다.
첫째, 로봇이 물체에 접근하기 전에 미리 “어떻게 닿을지”를 예측합니다.
둘째, 실제로 물체에 닿으면 촉각 센서에서 오는 정보를 실시간으로 읽어들입니다.
셋째, 그 촉각 정보를 바탕으로 다음 동작을 즉시 수정합니다.
이 과정이 ‘예측 → 실행 → 피드백’의 완전한 고리를 형성하는 것이 Being-H0.8의 핵심입니다. 촉각이 단순히 “나중에 참고하는 정보”가 아니라, 행동 계획 전체에 녹아드는 구조인 거죠.
실제 실험에서 Being-H0.8을 탑재한 양팔 로봇은 가방 속에서 물건 꺼내기, 붓으로 글씨 쓰기, 치약 짜기, 얇은 감자칩 집기 같은 고난도 정밀 작업을 성공적으로 수행했습니다. 이런 작업들은 모두 촉각 없이는 거의 불가능한 것들입니다.
50만 시간 데이터, 어떻게 만들었나
Being-H0.8의 또 다른 핵심은 바로 데이터입니다. 모델이 아무리 뛰어나도 학습할 데이터가 없으면 무용지물이니까요.
BeingBeyond는 수십 개의 데이터 파트너사와 협력해 50만 시간 이상의 1인칭 시점 영상 데이터를 구축했습니다. 이는 현재 중국 내 최대 규모의 인간 조작 영상 데이터 풀이라고 합니다. 이 데이터들은 자연스러운 물체 조작, 장시간 작업, 다양한 손 동작, 다양한 환경 등을 포함하고 있습니다.
그런데 50만 시간의 원본 영상이 곧바로 학습 데이터가 되는 건 아닙니다. 손이 보이지 않는 장면, 유효한 조작이 없는 장면, 카메라가 심하게 흔들리는 장면, 내용이 중복되는 장면 등 쓸모없는 영상이 대거 포함되어 있기 때문입니다. 팀은 이를 걸러내고, 자르고, 언어 설명을 붙이고, 분포를 재조정하는 복잡한 데이터 처리 과정을 거쳤습니다.
또한 손의 움직임을 정확히 파악하기 위해 MANO라는 손 모양 표준 모델을 사용해 손의 상태를 통일된 방식으로 표현하고, 카메라 파라미터가 없는 영상에서도 손 동작 정보를 복원하는 기술을 적용했습니다. 이렇게 정제된 데이터가 최종적으로 UniHand-3.0이라는 학습 데이터셋으로 완성됩니다.
촉각 없는 영상에서 촉각 데이터를 만드는 마법
가장 흥미로운 부분이 여기입니다. 50만 시간의 영상 데이터에는 촉각 정보가 없습니다. 그런데 Being-H0.8은 어떻게 촉각을 학습했을까요?
BeingBeyond는 TactoHand라는 기술을 개발했습니다. 이 기술은 일반 영상에서 손과 물체 사이의 3D 기하학적 관계를 분석해, 어느 손가락이 물체에 닿았는지, 얼마나 가까이 있는 지를 추론합니다. 실제 촉각 센서 없이도 “이 장면에서는 이렇게 접촉이 일어났을 것”이라는 가상의 촉각 정보(의사 촉각 감독)를 만들어내는 거죠.
TactoHand는 21개의 사람-물체 상호작용 데이터 소스, 총 3,010만 프레임의 데이터로 훈련되었습니다. 단순히 한 장의 사진만 보는 게 아니라 연속된 동작 흐름을 함께 분석해서, 손과 물체가 화면 상으로 겹쳐 보이는 것인지 실제로 닿은 것 인지를 더 정확하게 판단합니다.
물론 영상에서 추론한 촉각 만으로는 부족합니다. 압력, 마찰, 미끄러짐 같은 세밀한 물리 정보는 실제 센서가 있어야 알 수 있으니까요. 그래서 UniHand-3.0에는 약 55시간, 540만 프레임 분량의 압력 장갑 센서 데이터도 추가로 포함되었습니다. 대규모 영상 데이터가 다양한 상황을 커버하고, 실제 센서 데이터가 정확한 물리 정보를 제공하는 방식으로 서로 보완하는 구조입니다.
여기서 또 하나의 문제가 생깁니다. 촉각 데이터의 형식이 제각각이라는 거예요. 어떤 데이터는 단순히 접촉 여부만 기록하고, 어떤 데이터는 손가락 끝 몇 군데의 센서 값만 있고, 어떤 데이터는 손 전체의 압력 분포를 담고 있습니다. 이를 통일하기 위해 통용 촉각 인코더(Universal Tactile Encoder)를 설계해, 서로 다른 형식의 촉각 신호를 모두 동일한 형태의 ‘촉각 토큰(token)’으로 변환합니다.
마지막으로 TopoHand라는 기술이 사람 손과 로봇 손 사이의 간극을 메웁니다. 사람 손, 정교한 로봇 손, 단순한 집게형 로봇 손은 구조와 자유도가 완전히 다릅니다. 같은 “집기” 동작이라도 각각 다른 방식으로 표현되죠. TopoHand는 이 서로 다른 손들의 동작을 하나의 통일된 언어로 표현할 수 있게 해줍니다.
(설명하고 봐도… 인간의 움직임을 모방한 다는 것은 참으로 복잡하고 어렵군요. ㅎㅎ)
Being-H0.8의 두뇌 구조: 느린 생각과 빠른 반응
Being-H0.8의 내부 구조도 흥미롭습니다. 크게 세 가지 핵심 모듈로 구성되어 있습니다.
첫 번째는 MoT(Mixture of Transformers)입니다. 이 모듈은 현재 상황을 보고 앞으로 어떤 접촉이 일어날지를 미리 예측하는 역할을 합니다. 마치 우리가 달걀을 집으려 할 때 “조심해야겠다”고 미리 생각하는 것과 비슷하죠.
두 번째는 느린-빠른 동작 전문가(Slow-Fast Action Expert)입니다. 이름처럼 두 가지 속도로 작동합니다. ‘느린 흐름’은 시각, 언어, 전체 작업 계획 같은 무거운 정보를 처리하며 큰 그림을 유지합니다. ‘빠른 흐름’은 실시간으로 들어오는 촉각 피드백을 읽어 다음 짧은 동작만을 즉시 수정합니다. 덕분에 로봇은 촉각 변화가 생길 때마다 전체 계획을 처음부터 다시 계산할 필요 없이, 필요한 부분만 빠르게 조정할 수 있습니다.
세 번째는 앞서 설명한 통용 촉각 인코더, 네 번째는 TopoHand입니다. 이 네 모듈이 유기적으로 연결되어 Being-H0.8의 ‘예측 → 실행 → 피드백’ 고리를 완성합니다.
BeingBeyond는 어떤 회사인가
BeingBeyond(智在无界)는 2025년 5월에 설립된 신생 스타트업입니다. 창업자 루쭝칭(卢宗青)은 베이징대학교 컴퓨터학과 부교수이자 베이징 인공지능 아카데미(BAAI) 소속 학자로, 강화학습과 멀티모달 모델 연구를 오랫동안 해온 인물입니다. 그는 학계에서 가장 먼저 대규모 인간 영상을 활용해 로봇 모델을 훈련하는 방향을 탐구한 연구자 중 한 명이기도 합니다.
Being-H 시리즈의 발전 과정을 보면 세 단계가 뚜렷하게 보입니다. 초기에는 “인간 영상을 로봇 학습에 쓸 수 있는가”를 검증했고, 중간 단계에서는 “어떻게 대규모로 활용할 것인가”를 해결했으며, Being-H0.8에서는 “어떻게 고품질로 활용할 것인가”로 진화했습니다. 단순히 데이터 양을 늘리는 것에서 벗어나, 데이터의 질과 물리적 의미를 높이는 방향으로 전환한 것입니다.
설립된 지 1년여밖에 안 된 스타트업이 이 정도 수준의 기술을 발표했다는 점은 솔직히 놀랍습니다. 중국의 로봇 AI 분야는 지금 학계와 산업계가 빠르게 융합하면서 기술 발전 속도가 매우 가파릅니다. Being-H0.8이 보여주는 것은 단순한 기술 발표가 아니라, 로봇이 실제 생활 환경에서 사람처럼 섬세하게 물건을 다루는 시대가 생각보다 빨리 올 수 있다는 신호입니다.
우리나라도 로봇 산업에 많은 투자를 하고 있지만, 이런 기초 모델 연구와 대규모 데이터 구축 경쟁에서 중국의 속도가 정말 점점 더 빨라지는 거 같네요. 특히 이런 데이터들은 기존에 세상에 존재하지 않았던 데이터들이라 이제 막 선점하기 시작한 단계인데, 우리도 뒤쳐지지 않게 노력해 나가야 하겠습니다.
