关键要点
- 机器人智能分为慢速推理层(VLM/VLA,决策速率约1–10 Hz)和快速控制层(经典控制,100–1,000 Hz)——VLA从不被要求直接闭合控制回路。
- NVIDIA明确列出Isaac GR00T N1.5运行在Jetson Thor上;该公司还表示Llama、Qwen、DeepSeek(LLM)以及Qwen2.5-VL、Llama 3.2 Vision(VLM)都运行在同一板卡上,用于语言/场景描述层。
- Google DeepMind专门将Gemini Robotics On-Device设计为无需联网即可本地运行——这是机身端推理如今已成为一线部署目标、而非研究猎奇的最明确信号。
- 决定VLA能让机器人做什么的关键约束,是模型在所用摄像头数量与硬件下可达到的决策速率——而不是加速器的峰值TOPS数字。
- 安全等级的停止功能及其他认证安全功能都留在确定性、不经模型的逻辑中——这既是工程上的必要(神经网络无法被形式化验证),也是——按我们自己对欧盟机械法规适用范围的理解——一种简化合规负担的选择,而非监管机构已发布的具体指导意见。
- 仓库中的自主移动机器人(AMR)和农业机械如今已在大规模运营商业化自主系统;人形机器人获得的媒体关注最多,却是本文讨论的类别中部署量最少的。
- SmolVLA(约4.5亿参数)是低功耗目标的现实开放选项;OpenVLA(70亿)是常见的学术基线,而非低延迟机身端的首选。
"机器人上的AI"实际拆解成什么
一个机器人的软件栈至少包含五项不同的工作,而其中只有两项在今天是LLM或VLA的合理领地。 把"机器人中的AI"当作一个未分化的整体来对待,是这个领域报道中最常见的框架性错误——它导向了错误的问题("它能运行LLM吗?"),而不是有用的问题("这五项工作中,模型实际承担了哪一项,速率是多少?")。
按数据流动顺序排列的五项工作:感知(把摄像头/激光雷达/惯性测量单元数据转化为结构化的世界表示)、状态估计(把这些数据随时间融合为对机器人自身姿态和世界状态的稳定估计)、任务规划(决定接下来*做什么*——"拿起蓝色杯子""前往装货区")、运动规划(把任务转化为可行的轨迹——关节角度、路径、抓取方式)、以及控制(把规划好的轨迹逐时刻转化为电机指令,同时抵消扰动)。
感知是VLM和轻量视觉模型已经在真正发挥作用的领域——目标检测、场景描述、语义标注——通常处于摄像头画面产生的5–30 Hz范围。任务规划是VLA或LLM带来真正价值的领域:把自然语言或视觉目标转化为下游系统可以执行的符号化子目标。这两项是本文认定为VLA/LLM合法领地的工作。
状态估计、运动规划和控制在本质上不同。状态估计通常运行卡尔曼滤波器或粒子滤波器——确定性、原理成熟的数学方法,神经网络在核心估计问题上并不能改进它。运动规划由经典轨迹优化器(CHOMP、RRT*、基于MPC的规划器)主导,正是因为它们能提供可验证的约束满足——这是语言模型的输出所不具备的特性。控制是所有环节中速度最快、最不适合模型的:它以变换器前向传播无法企及的速率,针对传感器误差运行反馈回路。
📍 简单一句话
在机器人软件栈的五个阶段——感知、状态估计、任务规划、运动规划、控制——中,只有感知和任务规划在今天是LLM或VLA现实可行的领地。
💬 简单来说
感知="我在看什么"。状态估计="我现在在哪里"。任务规划="接下来该做什么"。运动规划="怎么到那里"。控制="现在就让电机动起来"。VLA存在于第一项和第三项中;其余都由经典、确定性的代码负责。
机器人软件栈的哪一部分可以被LLM或VLA实际取代?
感知(场景描述、物体识别)和任务规划(把目标转化为子目标)。状态估计、运动规划和控制仍然保持经典方式——分别是卡尔曼/粒子滤波器、轨迹优化器和反馈控制回路——因为它们需要模型输出无法提供的确定性、可验证行为。
控制频率的现实检验
决定VLA能让机器人做什么的关键约束,是模型每秒可达到的决策数——而不是加速器的峰值TOPS指标。 一份标称100 TOPS的硬件规格表,并不能说明一个20–70亿参数的VLA每秒能完成多少次完整的前向传播并生成可用动作;这个数字取决于模型大小、量化方式、批处理规模、摄像头数量与内存带宽的共同作用,通常远低于TOPS数字在单流、低延迟场景下所暗示的水平。
不同的回路容忍截然不同的延迟。腿式或自平衡机器人的移动平衡回路需要个位数毫秒级的修正——这是一个100–1,000 Hz的控制回路,没有任何已公开的VLA架构能以这个速率运行。操作类的任务规划回路(决定"伸手去拿杯子"还是"伸手去拿碗")可以容忍100–1,000毫秒的延迟而不明显影响行为——这正是VLA现实中运行的1–10 Hz区间。导航级的重新规划回路(绕开障碍物重新规划路径)通常可以容忍数秒的延迟。
这就是为什么模型的输出速率,而不是底层的模型FLOPs,才是应该用来做预算的数字。两个参数量相近的VLA,可达到的Hz可能大不相同,这取决于流水线(视觉编码器、动作解码器、分词)中有多少处于每次决策的关键路径上——也取决于有多少路摄像头流馈入同一次前向传播,因为大多数VLA架构把每增加一路摄像头当作额外的上下文,而非额外的并行度。
把模型放进控制回路,不仅是性能问题,更是安全隐患。 神经网络的输出无法像PID或MPC控制器的稳定裕度那样被形式化验证——没有证据表明变换器在面对未见过的输入分布时永远不会产生不安全的动作。这正是为什么在我们所知的每一个生产级机器人系统中,安全等级的停止功能、扭矩限制和防碰撞联锁始终保留在确定性控制代码中的核心原因——无论推理层模型变得多么强大:一个可认证的安全功能需要能被穷尽性表征的行为,而这是大型神经网络目前无法保证的。
- 平衡/移动控制回路:需要100–1,000 Hz——始终在经典控制中,从不在VLA中
- 操作类任务规划回路:可容忍100–1,000毫秒延迟——VLA现实可行的运行区间
- 导航重新规划回路:多数情况下可容忍数秒延迟
- 摄像头数量会在大多数VLA架构中成倍增加每次决策的工作量——在相同决策速率下,4路摄像头配置相对于1路摄像头配置并非"免费"
- 安全等级停止功能和扭矩限制在全行业范围内都保留在确定性、不经模型的逻辑中——这并非我们能引用的某项具体监管强制要求,而是可认证安全功能要求的直接后果(见"监管背景"部分)
为什么更大、更强的VLA不能直接运行控制回路?
有两个独立的原因。首先是延迟:控制回路需要100–1,000 Hz的修正频率,而一个数十亿参数模型的前向传播——即便量化过、即便运行在专用加速器上——也比这慢几个数量级。其次是可验证性:一个经过认证的安全功能(紧急停止、扭矩限制)需要能被事先穷尽性表征的行为,而神经网络的输出空间目前无法像PID控制器的稳定裕度那样被验证。
TOPS是比较VLA工作负载硬件的好方法吗?
单独使用不够。TOPS衡量的是理论峰值吞吐量,但决定某个决策速率能否实现的数字,是针对特定模型、量化方式和摄像头数量的每秒决策数——这在很大程度上取决于内存带宽,以及流水线中有多少处于每次决策的关键路径上,而不仅仅是原始算力。
估算你的机器人推理预算
在确定具体模型或板卡之前,使用下方的计算工具,估算给定硬件/摄像头数量组合实际能达到的决策速率。 这些估算是用于早期预算规划的工程近似值,并非厂商基准测试——在最终定稿设计之前,请针对实际使用的模型和硬件进行验证。
Estimated slow-tier inference budget
Achievable frequency: 15.0 Hz
Headroom: +10.0 Hz — This fits the onboard slow-reasoning tier. The fast control loop (100–1,000 Hz) still needs to run in classical control code, not through this model.
VLA模型对比:哪些开放,哪些适合哪里
五款VLA模型覆盖了机器人团队在2026年评估的开放及半开放格局的大部分,此外还有一款受限访问的模型值得关注,用于判断该领域的走向。 下文中标有"~"的参数量来自二手信息来源,而非厂商一手规格表——请将其视为方向性参考,而非精确数值。
NVIDIA Isaac GR00T N1及其N1.5修订版是面向人形机器人的VLA模型,公开发布,参数量约为~22亿(二手信息)。NVIDIA明确表示GR00T N1.5运行在其Jetson Thor板卡上——这是厂商确认的机身部署目标,而非推断出的结论。
Physical Intelligence的π0(pi-zero)是一款流匹配(flow-matching)VLA,参数量约为~30亿(二手信息),以开放权重发布,构建在PaliGemma级别的视觉语言骨干网络之上(此细节同样来自二手信息)。相较于早期VLA设计,它因流畅、高频的动作生成而受到关注。
OpenVLA拥有70亿参数,是VLA研究中常见的学术基线——开放、文档完善,被广泛用作基准对比对象。它的规模使其成为"一个有能力的VLA需要多大"的参考点,但通常不是机身端延迟预算紧张时的首选。
Google DeepMind的Gemini Robotics On-Device参数量未公开,访问受限/仅限合作伙伴——目前大多数团队都无法获取。尽管如此,它仍值得关注的原因在于:Google DeepMind表示它被明确设计为无需联网即可在机器人本地运行。这是一个大型实验室发出的最明确信号,表明机身端推理如今已是一线部署目标,而不是嫁接在云优先系统上的研究性事后补充。
SmolVLA是一款紧凑的开放VLA,参数量约为~4.5亿(二手信息)——当目标硬件确实是低功耗(一个小型加速器,而非完整的Jetson级板卡)时的现实选项,此时2–70亿参数模型的内存占用和前向传播延迟根本无法容纳在预算内。
Octo和RT-2是更早一代的VLA架构,主要用于从历史角度理解该领域是如何走到当前流匹配和分词化动作设计的——并非2026年部署决策的现行推荐。
在VLA类别之外,NVIDIA表示通用的Llama、Qwen和DeepSeek(LLM)以及Qwen2.5-VL和Llama 3.2 Vision(VLM)都运行在Jetson Thor上。这些模型承担了机器人系统中不需要完整VLA的语言理解与场景描述层——一个回答口头提问的服务机器人,或一个读取文字标签的操作臂,根本不需要任何具备动作输出能力的模型。
模型 | 参数量 | 访问方式 | 机身目标 |
|---|---|---|---|
| Isaac GR00T N1 / N1.5 | ~22亿(二手) | 开放 | Jetson Thor(NVIDIA确认) |
| Physical Intelligence π0 | ~30亿(二手) | 开放权重 | Jetson级板卡 |
| OpenVLA | 70亿 | 开放 | AGX Orin/Thor级别 |
| Gemini Robotics On-Device | 未公开 | 受限/仅限合作伙伴 | 按设计本地运行(无需联网) |
| SmolVLA | ~4.5亿(二手) | 开放 | 低功耗加速器 |
| Octo / RT-2 | 不定 | 开放(研究用) | 仅作历史参考 |
关于具体硬件层级(Hailo-10H、Jetson Orin Nano/NX、AGX Orin、AGX Thor——功耗范围与价格档位),请参阅本地LLM边缘AI硬件,而非在此重新推导规格——本文关注的是什么运行在哪里,而不是芯片本身。
在机器人语境下,VLA和VLM有什么区别?
VLM(视觉语言模型)接收图像和文本作为输入,输出文本——如场景描述、回答或标签。VLA(视觉语言动作模型)接收相同的输入,但输出的是机器人动作——目标姿态、关节轨迹、抓取点。机器人系统常常同时使用两者:VLM用于感知/场景理解层,VLA用于任务规划层;如果不需要自主动作,有时只需要VLM即可。
OpenVLA适合对延迟敏感的机身部署吗?
它是70亿参数的标准学术基线,这使它相对于Isaac GR00T N1.5(~22亿,二手信息)或SmolVLA(~4.5亿,二手信息)等专为机身端设计的替代方案而言,在延迟预算紧张的场景下显得更重。它作为文档完善的参考点,在对更新、更小的模型做基准对比时仍然有用。
集成层:ROS 2、TensorRT与交接
在大多数生产级机器人系统中,ROS 2是慢速推理层与快速控制层之间的实际边界。 一个VLA节点以ROS 2消息的形式发布任务级意图——目标姿态、子目标、抓取点——一个独立的经典控制节点订阅该消息,并以控制回路的速率执行它。VLA从不直接与电机对话;它只与一个话题(topic)对话,该话题下游的一切都由确定性节点负责。
在NVIDIA硬件(Jetson Orin和Thor级别)上,TensorRT和TensorRT-LLM是让量化后的VLA或LLM达到其可实现推理速率的标准运行时路径——它们负责内核融合、精度校准(FP8/INT8/INT4),以及朴素PyTorch推理循环所忽略的硬件专属优化。跳过这一步,是一个模型在理论上"应该"达到目标Hz、但实际却达不到的最常见原因。
对于非NVIDIA的较小机身目标——Hailo-10H加速器,或紧凑的基于ARM的板卡——ExecuTorch和llama.cpp是语言/感知组件相关的运行时路径。二者目前都不是可直接使用的VLA运行时;瞄准这些较小板卡的团队更常运行的是紧凑型VLM(用于感知/场景描述),而非完整VLA,任务规划要么被简化为基于规则的逻辑,要么以更小加速器能够承受的节奏更低频率地运行。
实际的集成模式,按顺序:(1)VLA/VLM节点以其可达到的Hz异步运行,将意图发布到ROS 2话题;(2)经典规划器订阅该话题,把意图转化为轨迹;(3)一个控制节点以100–1,000 Hz执行该轨迹,使用自身的传感器反馈回路——从不等待下一次VLA输出才行动。如果VLA节点停滞或延迟,控制节点会继续执行最后一条有效轨迹,或安全地保持位置;它不会被慢速层阻塞。
- 1VLA/VLM节点异步运行
Why it matters: 它以自身可达到的速率(1–10 Hz)向ROS 2话题发布任务级意图——它从不处于控制回路的关键路径上。 - 2经典规划器订阅该意图
Why it matters: 它使用确定性的运动规划代码,把子目标("伸手去拿杯子")转化为一条具体的、经过约束检查的轨迹。 - 3控制节点独立执行轨迹
Why it matters: 以100–1,000 Hz运行,使用自身的传感器反馈——它从不等待下一次VLA输出;如果慢速层停滞,快速层会保持位置或继续执行最后一个有效计划。 - 4在NVIDIA目标上用TensorRT/TensorRT-LLM进行量化和编译
Why it matters: 内核融合和精度校准(FP8/INT8/INT4)通常决定了一个模型理论Hz与实际达到Hz之间的差距——跳过这一步是机身端推理表现不佳最常见的原因。 - 5对于非NVIDIA的小型目标,把工作负载限定为VLM而非完整VLA
Why it matters: ExecuTorch和llama.cpp覆盖了紧凑板卡上的语言/感知运行时路径,但目前没有任何主流低功耗运行时能让完整VLA在这些功耗范围内变得可行。
VLA模型会直接与机器人的电机对话吗?
不会。在生产级系统中,VLA节点把任务级意图(目标姿态、子目标)发布到ROS 2话题上。一个独立的经典控制节点订阅该话题,并以控制回路的速率将其转化为电机指令。VLA永远不会出现在电机指令的路径上。
如果VLA节点延迟或停滞会发生什么?
快速控制层不会等待它。它会继续执行最后一条有效轨迹,或使用自身的传感器反馈回路保持安全位置,与推理层的节奏无关——正是这种解耦,才是双层架构一开始被采用的原因。
按机器类别划分的部署现实
仓库中的自主移动机器人(AMR)和农业机械,代表了今天机器人自主性的真实部署现实——人形机器人获得的媒体关注最多,却是本文讨论类别中部署量最少的一类。 这个差距对任何需要决定工程时间投向何处的人都很重要:算力最密集、讨论最热烈的机器人类别,恰恰也是目前实际在生产环境中运行台数最少的类别。
人形机器人是算力最密集、部署量最少的类别:它们搭载最多的传感器、最多的自由度,相应地也承受着最重的推理层工作负载(多路摄像头流、全身任务规划)——这正是它们成为最新、最强大机身芯片(Jetson Thor)和最新VLA架构(GR00T N1.5)主要目标的原因。它们今天的部署量相对于所受到的关注而言仍然很小。
自主移动机器人(AMR)——在仓库中搬运库存的轮式机器人——多年来已经以有意义的规模实现商业化部署,运行着经典的导航和避障系统。2026年正在发生的变化,是在一个已经成熟的自主系统之上增加一层语言/视觉接口:用于场景描述的VLM,或让人类能够以自然语言下达指令的轻量任务规划层——而不是彻底替换底层的导航逻辑。
固定制造单元中的工业机械臂介于这两种极端之间:运动规划和控制通常几十年来一直完全保持经典方式(一个焊接或拾放机械臂并不需要VLA来重复一条已示教的轨迹),但感知层——缺陷检测、零件识别——正越来越多地使用轻量视觉模型,因为固定的摄像头位置和受限的任务,使得一个更小、专门训练的模型就足够,而不需要完整的VLA。
农业机械是"AI机器人"报道中最常被忽视的部署类别,尽管它早在当前VLA浪潮之前,就已经多年大规模部署了GPS引导转向、拖拉机和收割机上的障碍检测等商业化自主系统。如今在其之上新增的内容,与AMR遵循相同的模式:一层语言/视觉接口(作物或杂草识别、自然语言操作员指令),叠加在本就已经自主、本就已经经典的导航与控制系统之上。
- 人形机器人:单位算力最高,采用最新VLA架构,但今天部署机队最小
- AMR(仓库):多年来成熟的经典自主系统;VLM/VLA的加入是一层接口,而非替代
- 工业机械臂:运动/控制几十年来完全经典;正在加入轻量视觉模型的是感知层
- 农业机械:GPS转向、障碍检测等商业化自主系统早在当前VLA浪潮之前已大规模部署
今天哪个机器人类别实际在生产环境中运行的VLA模型最多?
目前没有哪个类别在有意义的生产规模上以VLA作为主要控制机制运行——AMR和农业机械运行的是成熟的经典自主系统,VLM/VLA的加入仅限于接口层(场景描述、自然语言指令)。人形机器人是最新的VLA集成目标,但在本文讨论的类别中部署机队最小。
选购指南:实际该关注什么
三类硬件覆盖了机器人端推理搭建的大部分需求:用于推理层的Jetson级开发套件,用于感知输入的一个或多个深度/立体摄像头,以及用来安装一切的机器人开发平台。 本节列出的是类别,而非具体型号、价格或厂商宣称——购买前请直接向各厂商核实当前规格和价格,因为二者变化的速度都快于任何一篇文章能够追踪的程度。
Jetson Orin和Jetson Thor开发套件是评估机身端VLA或VLM的标准起点——关于按层级划分的详细对比(从Orin Nano到AGX Thor,涵盖功耗范围和相对算力),请参阅本地LLM边缘AI硬件。
深度或立体摄像头是VLA的标准感知输入——大多数已发表的VLA研究和厂商参考设计都假设使用RGB-D或立体输入,而非单纯的单目RGB,因为深度信息简化了动作输出层所依赖的抓取点和障碍物距离估计。
机器人开发平台——一个轮式或机械臂式的参考平台,而非从零开始的机械搭建——是团队在投入定制硬件之前验证VLA集成的实际起点。
- Jetson Orin/Thor开发套件——推理层的算力目标
- 深度/立体摄像头——VLA的标准感知输入
- 机器人开发平台(轮式或机械臂式参考套件)——在投入定制硬件之前验证集成
哪些留在机身之外
即便是在积极的本地优先架构下,仍有四类工作负载留在机器人之外:机队学习、模型更新、跨机器人上下文共享,以及重型仿真。 这些都不像感知或任务规划那样对延迟敏感,而且都得益于单个机器人无法获取的算力和数据。
机队学习——汇总多台已部署机器人的经验以改进共享策略或模型——本质上需要比单个机器人所携带的更多单位的数据,其涉及的训练算力也远超机身加速器的预算或用途。
模型更新(新的VLA检查点、微调过的感知模型)是被推送到机器人上的,而不是在机器人上训练的;在当今使用的几乎每一种生产部署模式中,机器人都是推理目标,而不是训练节点。
跨机器人上下文——一台机器人受益于同一机队中另一台机器人刚刚观察到的内容——需要一个共享后端,因为不存在让一台机器人直接访问另一台机器人传感器历史的有用机身机制。
重型仿真——用于生成训练数据或在部署前验证策略的大规模物理与渲染工作负载——出于与机队学习相同的原因运行在数据中心级算力上:这样的算力预算没有机身端的对应物。
- 跨多台已部署单位的机队学习
- 推送到机器人的模型/检查点更新
- 跨机器人上下文与机队共享状态
- 用于训练数据生成和策略验证的重型仿真
监管与产业背景:中国工业机器人政策与出口管制
中国政府对工业机器人和人形机器人产业的支持性产业政策——包括地方及中央层面的补贴与采购计划——正在影响全球零部件的定价与供货节奏,这对任何采购谐波减速器、伺服电机或视觉传感器等机器人零部件的团队都是现实的供应链变量,而不只是抽象的地缘政治背景。 与此同时,中国团队对最先进西方芯片(例如面向数据中心的顶级NVIDIA加速器型号)的获取受到出口管制约束,这在客观上推动了国内团队在效率受限条件下的设计取舍——优先考虑更小、量化更彻底的模型,以及对国产或替代加速器的适配。
对于计划向欧盟市场出口机器人产品的团队,还需要留意欧盟层面的监管动向:作为机械安全部件运行的AI组件在欧盟AI法案下可能被归为高风险,而欧盟机械法规(2023/1230,自2027年1月起适用)另行要求对具有AI驱动安全功能的机械进行合规评估。本文通篇描述的双层架构——把安全功能保留在确定性的经典控制代码中,把VLA/LLM推理层限定在从不直接触发安全功能的角色中——是我们自己的推理分析,而非已发布的监管指导意见,但它提供了一个更容易向任何司法辖区证明的工程论据。
这不构成法律建议。中国国内相关合规义务(包括2021年颁布的《数据安全法》对数据本地化和跨境传输的要求)以及出口管制的具体适用范围,取决于实际的系统设计、供应链构成和目标市场——在做出具体合规或采购决策之前,请咨询合格的法律与贸易合规顾问。
中国的出口管制在多大程度上限制了本文讨论的VLA模型或硬件的可获得性?
这取决于具体型号和团队所在司法辖区。本文提到的部分顶级NVIDIA加速器型号在中国的可获得性受出口管制影响,这是推动国内团队转向更小、更高效模型(如SmolVLA一类的紧凑架构)和替代加速器路径的现实因素之一。具体的适用范围和最新状态请以官方出口管制清单和供应商的最新说明为准,本文不作为合规判断的依据。
常见问题
70亿参数的模型能否在机器人上实时运行?
这取决于该任务中"实时"意味着什么。像OpenVLA这样的70亿参数VLA,可以在Jetson AGX Orin或Thor等性能足够的机身硬件上,以任务规划速率(约1–10 Hz)运行——这对于决定"伸手去拿杯子"来说就是实时。它无法达到平衡或移动控制回路所需的100–1,000 Hz,而这也从来不是对它的要求;那个回路始终留在经典控制代码中。
VLA与在机器人上运行LLM有什么区别?
LLM(或VLM)处理语言和/或视觉,输出文本——适用于场景描述或回答口头指令。VLA(视觉语言动作模型)直接输出机器人动作——目标姿态、轨迹、抓取点。许多机器人系统会同时使用两者:LLM/VLM用于语言理解和场景描述,VLA用于把目标转化为具体动作。
哪些机身硬件运行Isaac GR00T N1.5?
NVIDIA表示GR00T N1.5运行在其Jetson Thor板卡上——这是厂商确认的部署目标。据NVIDIA介绍,Jetson Thor还运行通用LLM(Llama、Qwen、DeepSeek)和VLM(Qwen2.5-VL、Llama 3.2 Vision),用于不需要完整VLA的语言/场景描述层。
为什么机器人不干脆用一个模型处理所有事情?
因为这些任务对延迟和可验证性的要求互不相容。任务规划可以容忍100–1,000毫秒的延迟,并受益于一个大而灵活的模型。控制需要100–1,000 Hz,并且需要针对安全等级功能可形式化表征的行为——这是当前任何大型神经网络都无法满足的要求。把系统拆分为慢速推理层和快速控制层,正是生产级机器人同时满足这两种需求的方式。
SmolVLA对于真实产品来说是现实的选择,还是仅仅是研究玩具?
它被定位为专门面向低功耗目标的现实开放选项——那些对于2–70亿参数模型的内存占用和前向传播延迟而言过于受限的加速器。其约~4.5亿(二手信息)的参数量,对于瞄准比Jetson AGX级别更小硬件的团队来说,是一个真实的工程权衡,而不仅仅是一次研究演示。
Gemini Robotics On-Device是否意味着我今天就能为自己的机器人获得授权?
不一定。Google DeepMind将其描述为受限/仅限合作伙伴访问,参数量未公开。可以确认的是其设计意图:Google DeepMind表示它被构建为无需联网即可在机器人本地运行,这表明了该领域的发展方向,即便对于目前还无法访问这一具体模型的团队也是如此。
Jetson Orin NX对于VLA级别的推理,现实中能支持多少路摄像头流?
这取决于模型和目标决策速率——大多数VLA架构把每增加一路摄像头当作每次前向传播的额外上下文,而非可单独并行化的流,因此增加摄像头会大致按比例降低可达到的Hz,并非没有代价。在确定设计之前,请使用本页的推理预算计算工具,针对具体的硬件/摄像头/模型组合进行估算;这是一个工程估算值,而非厂商基准测试。
安全等级的紧急停止是否会经过VLA模型?
在我们所知的任何生产级机器人系统中都不会。安全等级的停止功能、扭矩限制和防碰撞联锁都运行在确定性、经过认证的控制逻辑中——神经网络的输出空间目前无法像经典控制器的稳定裕度那样被穷尽性验证,这正是无论推理层模型变得多么强大,这种分离都会保持的核心工程原因。
如果一个机器人只在任务规划中使用VLA、从不用于安全功能,欧盟AI法案是否仍然适用?
视具体系统而定,仍可能适用——欧盟AI法案针对作为机械安全部件运行的AI所做的高风险分类,关注的是AI在系统中所扮演的角色,而欧盟机械法规(2023/1230,自2027年1月起适用)有其自身的合规评估触发条件。这不构成法律建议;请就具体产品的分类咨询合格的法律顾问。
延伸阅读
- 本地LLM边缘AI硬件 — 本文通篇引用的硬件层级(Hailo-10H、Jetson Orin Nano/NX、AGX Orin、AGX Thor)
- 面向无人机与边缘摄像头的VLM视频分析 — 本文聚焦"行动"侧的姊妹篇,聚焦"观测"侧,共享同样的芯片但延迟约束不同
- 2026年最佳本地LLM — 超越本文所涵盖的机器人专用VLA模型的通用本地LLM模型全景
- 本地视觉模型:LLaVA与Ollama 2026 — 在机器人语境之外本地运行视觉语言模型
