2026년 로봇 탑재형 LLM·VLA 모델: 무엇이 맞고 무엇이 맞지 않는가

로봇의 소프트웨어 스택에는 최소 다섯 가지 서로 다른 작업이 있으며, 그중 오늘날 LLM이나 VLA에게 현실적인 영역은 단 두 가지뿐입니다. "로보틱스 속 AI"를 하나의 미분화된 덩어리로 취급하는 것은 이 분야를 다루는 콘텐츠에서 가장 흔한 프레이밍 오류입니다 — 이는 잘못된 질문("LLM을 실행할 수 있는가?")으로 이어지며, 유용한 질문("이 다섯 가지 작업 중 모델이 실제로 담당하는 것은 무엇이고, 어떤 속도로 하는가?")을 놓치게 만듭니다.

데이터가 흐르는 순서대로 나열한 다섯 가지 작업: 지각(카메라·라이다·IMU 데이터를 구조화된 세계 표현으로 변환), 상태 추정(그 데이터를 시간에 걸쳐 융합하여 로봇 자신의 자세와 세계 상태에 대한 안정적인 추정치를 얻음), 작업 계획(다음에 *무엇을* 할지 결정 — "파란 컵을 집는다", "적재장으로 이동한다"), 모션 계획(작업을 실행 가능한 궤적으로 번역 — 관절 각도, 경로, 파지 방식), 그리고 제어(계획된 궤적을 교란을 상쇄하면서 순간순간 모터 명령으로 변환).

지각은 VLM과 경량 비전 모델이 이미 실질적인 역할을 하는 영역입니다 — 객체 탐지, 장면 설명, 의미론적 라벨링 등을 보통 카메라 피드가 만들어내는 5~30Hz 범위에서 수행합니다. 작업 계획은 VLA나 LLM이 진정한 가치를 더하는 영역입니다: 자연어나 시각적 목표를 하위 시스템이 실행할 수 있는 상징적 하위 목표로 번역하는 일입니다. 이 두 가지가 이 글이 VLA/LLM의 정당한 영역으로 다루는 작업입니다.

상태 추정, 모션 계획, 제어는 본질적으로 다릅니다. 상태 추정은 보통 칼만 필터나 파티클 필터를 사용합니다 — 신경망이 핵심 추정 문제에서 개선하지 못하는, 결정론적이고 잘 이해된 수학입니다. 모션 계획은 고전적 궤적 최적화기(CHOMP, RRT*, MPC 기반 플래너)가 주도하는데, 이는 정확히 검증 가능한 제약 충족을 제공하기 때문입니다 — 이는 언어 모델의 출력이 갖지 못한 특성입니다. 제어는 그중 가장 빠르고 모델에 가장 부적합한 영역입니다: 트랜스포머의 순전파가 도달할 수 없는 속도로 센서 오차에 대한 피드백 루프를 실행합니다.

VLA로 로봇이 무엇을 할 수 있는지를 결정하는 제약은 모델이 달성 가능한 초당 의사 결정 수이지, 가속기의 최대 TOPS 등급이 아닙니다. 100 TOPS를 명시한 하드웨어 데이터시트는 20~70억 파라미터 VLA가 초당 몇 번이나 완전한 순전파를 실행하고 사용 가능한 액션을 생성할 수 있는지에 대해 아무것도 말해주지 않습니다. 이 수치는 모델 크기, 양자화, 배치 크기, 카메라 수, 메모리 대역폭이 함께 작용해 결정되며, 단일 스트림·저지연 워크로드에 대해 TOPS 수치가 시사하는 값보다 대개 훨씬 낮습니다.

루프마다 허용하는 지연시간은 크게 다릅니다. 다리형 또는 자체 균형 로봇의 이동 균형 루프는 한 자릿수 밀리초 단위의 보정이 필요합니다 — 이는 100~1,000Hz 제어 루프이며, 이 속도로 동작하는 공개된 VLA 아키텍처는 없습니다. 조작 작업 계획 루프("컵에 손을 뻗을지" "그릇에 손을 뻗을지" 결정)는 눈에 띄게 행동을 저하시키지 않으면서 100~1,000ms의 지연시간을 허용합니다 — 이는 VLA가 현실적으로 동작하는 1~10Hz 범위입니다. 내비게이션 수준의 재계획 루프(장애물을 피해 경로를 다시 계산)는 흔히 수 초를 허용합니다.

바로 이 때문에 모델의 근본적인 FLOPs가 아니라 모델의 출력 속도가 예산을 세워야 할 수치입니다. 파라미터 수가 비슷한 두 VLA라도 파이프라인(비전 인코더, 액션 디코더, 토큰화) 중 얼마나 많은 부분이 결정당 크리티컬 패스에 있는지, 그리고 동일한 순전파에 몇 개의 카메라 스트림이 입력되는지에 따라 달성 가능한 Hz가 크게 달라질 수 있습니다. 대부분의 VLA 아키텍처는 카메라가 추가될 때마다 이를 추가 병렬성이 아니라 추가 컨텍스트로 처리하기 때문입니다.

제어 루프 안의 모델은 성능 문제일 뿐 아니라 안전 부담이기도 합니다. 신경망의 출력은 PID나 MPC 컨트롤러의 안정성 여유처럼 형식적으로 검증할 수 없습니다 — 트랜스포머가 본 적 없는 입력 분포에 대해 결코 안전하지 않은 액션을 생성하지 않는다는 증명은 존재하지 않습니다. 이것이 저희가 알고 있는 모든 실운용 로봇 스택에서, 추론 계층 모델이 아무리 뛰어나더라도 안전 등급 정지, 토크 제한, 충돌 방지 인터록이 결정론적 제어 코드에 남아 있는 근본적인 이유입니다. 인증 가능한 안전 기능은 사전에 철저히 특성화할 수 있는 동작을 필요로 하며, 대형 신경망은 현재 그 보장을 제공할 수 없습니다.

모델이나 보드를 확정하기 전에, 아래 계산기를 사용해 특정 하드웨어/카메라 수 조합이 실제로 달성할 수 있는 의사 결정 속도를 추정해 보세요. 이 추정치는 초기 예산 산정을 위한 공학적 근사치이며 벤더 벤치마크가 아닙니다 — 설계를 확정하기 전에 실제 모델과 하드웨어를 기준으로 검증하세요.

다섯 가지 VLA 모델이 로보틱스 팀이 2026년에 평가하는 오픈 및 준오픈 환경의 대부분을 아우르며, 여기에 이 분야가 어디로 향하는지 확인하기 위해 지켜볼 가치가 있는 제한된 접근 모델 하나가 더해집니다. 아래에서 "~"로 표시된 파라미터 수는 1차 벤더 스펙 시트가 아닌 2차 보도에서 나온 것입니다 — 정확한 값이 아니라 방향성을 나타내는 값으로 취급하세요.

NVIDIA Isaac GR00T N1과 그 개정판 N1.5는 인간형 로봇 지향 VLA 모델로, 공개적으로 배포되었으며 파라미터 수는 약 ~22억(2차 출처)입니다. NVIDIA는 GR00T N1.5가 자사의 Jetson Thor 보드에서 실행된다고 명시적으로 밝히고 있습니다 — 이는 추론된 것이 아니라 벤더가 확인한 온보드 배포 목표입니다.

Physical Intelligence의 π0(파이제로)는 플로우 매칭 방식의 VLA로 파라미터 수는 약 ~30억(2차 출처)이며, 오픈 가중치로 공개되었고 PaliGemma급 비전-언어 백본 위에 구축되었습니다(이 세부 사항도 2차 출처). 이전 VLA 설계 대비 매끄럽고 고빈도의 액션 생성으로 주목받았습니다.

OpenVLA는 70억 파라미터로 VLA 연구에서 흔히 쓰이는 학술 기준선입니다 — 오픈이며 문서화가 잘 되어 있고 벤치마크 대상으로 널리 사용됩니다. 그 크기 때문에 "유능한 VLA는 얼마나 커야 하는가"의 기준점 역할을 하지만, 촘촘한 온보드 지연시간 예산에서는 보통 첫 번째 선택지가 아닙니다.

Google DeepMind의 Gemini Robotics On-Device는 파라미터 수가 공개되지 않았고 접근이 제한/파트너 전용입니다 — 현재 대부분의 팀이 사용할 수 있는 옵션이 아닙니다. 그럼에도 지켜볼 가치가 있는 이유는: Google DeepMind가 이를 인터넷 연결 없이 로봇에서 로컬로 실행되도록 명시적으로 설계했다고 밝혔기 때문입니다. 이는 온보드 추론이 이제 클라우드 우선 시스템에 덧붙인 연구적 사후 생각이 아니라 1급 배포 목표라는, 대형 연구소가 보내는 가장 명확한 신호입니다.

SmolVLA는 파라미터 수가 약 ~4억 5천만(2차 출처)인 컴팩트한 오픈 VLA입니다 — 대상 하드웨어가 진정으로 저전력일 때(완전한 Jetson급 보드가 아니라 소형 가속기) 현실적인 선택지이며, 여기서는 2~70억 파라미터 모델의 메모리 사용량과 순전파 지연시간이 예산에 단순히 맞지 않습니다.

Octo와 RT-2는 더 이전 세대의 VLA 아키텍처로, 주로 이 분야가 현재의 플로우 매칭과 토큰화된 액션 설계에 어떻게 도달했는지 역사적으로 파악하는 데 유용합니다 — 2026년 배포 결정에 대한 현행 추천 사항은 아닙니다.

VLA 카테고리를 넘어, NVIDIA는 범용 Llama, Qwen, DeepSeek(LLM)과 Qwen2.5-VL, Llama 3.2 Vision(VLM)이 Jetson Thor에서 실행된다고 밝히고 있습니다. 이들은 완전한 VLA가 필요 없는 로봇 스택에서 언어 이해와 장면 설명 계층을 담당합니다 — 구두 질문에 답하는 서비스 로봇이나 텍스트 라벨을 읽는 조작 팔은 액션 출력 모델을 전혀 필요로 하지 않습니다.

ROS 2는 대부분의 실운용 로봇 스택에서 느린 추론 계층과 빠른 제어 계층 사이의 실질적인 경계입니다. VLA 노드는 목표 자세, 하위 목표, 파지점 같은 작업 수준의 의도를 ROS 2 메시지로 발행하고, 별도의 고전적 제어 노드가 그 메시지를 구독하여 제어 루프 속도로 실행합니다. VLA는 모터와 직접 대화하는 일이 결코 없습니다. 토픽에 말할 뿐이며, 결정론적 노드가 그 토픽 이후의 모든 것을 담당합니다.

NVIDIA 하드웨어(Jetson Orin 및 Thor급)에서는 TensorRT와 TensorRT-LLM이 양자화된 VLA나 LLM을 달성 가능한 추론 속도로 끌어올리는 표준 런타임 경로입니다 — 커널 융합, 정밀도 보정(FP8/INT8/INT4), 그리고 단순한 PyTorch 추론 루프가 놓치는 하드웨어별 최적화를 처리합니다. 이 단계를 건너뛰는 것이 이론상 목표 Hz에 "도달해야 할" 모델이 실제로는 도달하지 못하는 가장 흔한 이유입니다.

NVIDIA 기반이 아닌 더 작은 온보드 대상 — Hailo-10H 가속기나 컴팩트한 ARM 기반 보드 — 의 경우, ExecuTorch와 llama.cpp가 언어/지각 구성 요소를 위한 관련 런타임 경로입니다. 둘 다 오늘날 바로 사용할 수 있는 VLA 런타임은 아닙니다. 이런 더 작은 보드를 겨냥하는 팀은 완전한 VLA보다 컴팩트한 VLM(지각/장면 설명용)을 더 자주 실행하며, 작업 계획은 규칙 기반 로직으로 단순화하거나 더 작은 가속기가 감당할 수 있는 빈도로 낮춰 실행합니다.

실제 통합 패턴은 순서대로: (1) VLA/VLM 노드가 달성 가능한 Hz로 비동기적으로 실행되어 의도를 ROS 2 토픽에 발행합니다. (2) 고전적 플래너가 이를 구독하여 의도를 궤적으로 변환합니다. (3) 제어 노드가 자체 센서 피드백 루프를 사용해 100~1,000Hz로 궤적을 실행합니다 — 다음 VLA 출력을 기다렸다가 행동하는 일은 결코 없습니다. VLA 노드가 멈추거나 지연되면 제어 노드는 마지막으로 유효했던 궤적을 계속 실행하거나 안전하게 위치를 유지합니다. 느린 계층을 기다리며 멈추지 않습니다.

창고의 자율 이동 로봇(AMR)과 농업 기계가 오늘날 로봇 자율성의 실제 도입 현실을 대표합니다 — 인간형 로봇은 언론의 주목을 받지만 본 글에서 다루는 기계 클래스 중 가장 적게 도입된 편입니다. 이러한 격차는 엔지니어링 시간을 어디에 투자할지 결정하는 모든 이에게 중요합니다: 가장 연산 집약적이고 가장 많이 논의되는 로봇 카테고리가 동시에 지금 실제로 생산 환경에서 운용되는 대수가 가장 적은 카테고리이기도 합니다.

인간형 로봇은 가장 연산 집약적이고 가장 적게 도입된 클래스입니다: 가장 많은 센서와 자유도를 갖추고 있고, 그에 따라 가장 무거운 추론 계층 워크로드(다중 카메라 스트림, 전신 작업 계획)를 짊어집니다. 이것이 정확히 최신의 가장 성능 좋은 온보드 실리콘(Jetson Thor)과 최신 VLA 아키텍처(GR00T N1.5)의 주요 대상인 이유입니다. 받는 관심에 비해 오늘날 도입 규모는 작습니다.

창고에서 재고를 이동시키는 바퀴형 로봇인 자율 이동 로봇(AMR)은 수년간 의미 있는 규모로 상업적으로 배포되어, 고전적인 내비게이션과 장애물 회피 스택을 실행해 왔습니다. 2026년에 변화하는 것은 이미 성숙한 자율성 스택 위에 언어/비전 인터페이스 계층을 추가하는 것입니다: 장면 설명을 위한 VLM이나, 사람이 자연어로 지시를 내릴 수 있게 하는 경량 작업 계획 계층이며, 이는 기존 내비게이션 로직을 완전히 대체하는 것이 아닙니다.

고정 제조 셀의 산업용 로봇 팔은 이 양극단 사이에 위치합니다: 모션 계획과 제어는 통상 수십 년째 완전히 고전적인 방식을 유지하고 있으며(용접이나 픽앤플레이스 팔은 학습된 궤적을 반복하는 데 VLA가 필요하지 않습니다), 그러나 지각 계층 — 결함 탐지, 부품 식별 — 은 점점 더 경량 비전 모델을 사용하고 있습니다. 고정된 카메라 위치와 제한된 작업 덕분에 완전한 VLA 없이도 더 작고 목적 특화된 모델로 충분하기 때문입니다.

농업 기계는 "AI 로보틱스" 보도에서 가장 자주 간과되는 도입 클래스입니다. 현재의 VLA 물결이 오기 훨씬 전부터 이미 수년간 GPS 유도 조향, 트랙터·수확기의 장애물 탐지 같은 상업적 자율성이 대규모로 배포되어 왔음에도 그렇습니다. 지금 그 위에 추가되고 있는 것은 AMR과 동일한 패턴을 따릅니다: 작물이나 잡초 식별, 자연어 조작자 명령 같은 언어/비전 인터페이스 계층이 이미 자율적이고 이미 고전적이었던 내비게이션·제어 시스템 위에 얹히는 것입니다.

세 가지 하드웨어 카테고리가 온보드 추론 구축의 대부분을 아우릅니다: 추론 계층을 위한 Jetson급 개발 키트, 지각 입력을 위한 하나 이상의 깊이/스테레오 카메라, 그리고 모든 것을 탑재할 로봇 개발 플랫폼입니다. 이 섹션은 카테고리만 언급하며 구체적인 제품 코드, 가격, 벤더 주장은 다루지 않습니다 — 구매 전 각 벤더에서 직접 최신 사양과 가격을 확인하세요. 둘 다 어떤 글이 추적할 수 있는 것보다 더 빠르게 바뀝니다.

Jetson Orin과 Jetson Thor 개발 키트는 온보드 VLA나 VLM을 평가하기 위한 표준 출발점입니다 — 전력 범위와 상대적 연산 능력을 다루는 등급별 세부 분류(Orin Nano부터 AGX Thor까지)는 로컬 LLM용 엣지 AI 하드웨어를 참고하세요.

깊이 또는 스테레오 카메라는 VLA를 위한 표준 지각 입력입니다 — 공개된 대부분의 VLA 연구와 벤더 레퍼런스 설계는 단안 RGB만이 아니라 RGB-D나 스테레오 입력을 전제하는데, 깊이 정보가 액션 출력 계층이 의존하는 파지점과 장애물 거리 추정을 단순화하기 때문입니다.

로봇 개발 플랫폼 — 처음부터 기계적으로 제작하기보다 바퀴형 또는 팔 기반 레퍼런스 플랫폼 — 은 커스텀 하드웨어에 투자하기 전에 VLA 통합을 검증하는 팀에게 실용적인 출발점입니다.

적극적인 로컬 우선 아키텍처에서도 네 가지 워크로드는 로봇 외부에 남아 있습니다: 플릿 학습, 모델 업데이트, 로봇 간 컨텍스트 공유, 그리고 고비용 시뮬레이션입니다. 이들 중 어느 것도 지각이나 작업 계획처럼 지연시간에 민감하지 않으며, 모두 단일 로봇이 접근할 수 없는 연산과 데이터의 혜택을 받습니다.

플릿 학습 — 배포된 여러 로봇의 경험을 취합해 공유 정책이나 모델을 개선하는 것 — 은 본질적으로 단일 로봇이 가진 것보다 더 많은 유닛의 데이터를 필요로 하며, 여기에 관련된 학습 연산은 온보드 가속기의 예산이나 용도를 훨씬 뛰어넘습니다.

모델 업데이트(새로운 VLA 체크포인트, 미세 조정된 지각 모델)는 로봇에서 학습되는 것이 아니라 로봇으로 밀어 넣어집니다. 오늘날 사용되는 사실상 모든 실운용 배포 패턴에서 로봇은 학습 노드가 아니라 추론 대상입니다.

로봇 간 컨텍스트 — 한 로봇이 같은 플릿의 다른 로봇이 방금 관측한 것으로부터 혜택을 받는 것 — 은 공유 백엔드를 필요로 합니다. 한 로봇이 다른 로봇의 센서 이력에 직접 접근할 수 있는 유용한 온보드 메커니즘은 존재하지 않기 때문입니다.

고비용 시뮬레이션 — 학습 데이터를 생성하거나 배포 전에 정책을 검증하는 데 사용되는 대규모 물리·렌더링 워크로드 — 는 플릿 학습과 같은 이유로 데이터센터급 연산에서 실행됩니다: 그 연산 예산에는 온보드 상응물이 없습니다.

EU에서는 기계류의 안전 구성 요소로 기능하는 AI 구성 요소가 EU AI법상 고위험으로 취급되며, EU 기계류 규정(2023/1230) — 2027년 1월부터 적용 — 은 AI 기반 안전 기능을 가진 기계류에 대해 별도로 적합성 평가를 요구합니다. 안전 기능 경로에 모델이 포함된 로봇은 둘 중 하나가 아니라 두 프레임워크 모두를 충족해야 할 수 있습니다.

다음은 저희 자체의 논리적 분석이며, 공식적으로 발표된 규제 지침이 아닙니다: 이 글 전체에서 설명한 이중 계층 아키텍처 — 안전 기능(비상 정지, 토크 제한, 충돌 인터록)을 결정론적이고 고전적인 제어 코드에 유지하고, VLA/LLM 추론 계층을 안전 기능을 직접 좌우하지 않는 자문적 또는 작업 수준 역할로 한정하는 것 — 은 적합성 평가 부담을 줄일 가능성이 있습니다. 인증 가능한 안전 기능은 사전에 철저히 특성화할 수 있는 동작을 필요로 하는데, 결정론적 코드는 이를 제공할 수 있지만 대형 신경망은 현재 그럴 수 없기 때문입니다. 저희는 어떤 규제 당국도 이러한 프레이밍을 확인하는 구체적인 지침을 발표한 것으로 알지 못합니다. 이를 컴플라이언스 보장이 아니라 자신의 법률 고문과 함께 평가해야 할 기술·컴플라이언스적 논거로 취급하시기 바랍니다.

이는 법률 자문이 아닙니다. 적합성 평가의 범위, 적용 가능한 조화 표준, 특정 로봇의 안전 기능에 대한 구체적인 분류는 실제 시스템 설계와 판매되는 법역에 따라 달라집니다 — 특정 제품에 대한 컴플라이언스 판단을 내리기 전에 자격을 갖춘 법률·규제 자문가와 상담하세요.