用真机数据填补 VLA 训练的 Action Token 缺口
TL;DR
-
问题：VLA（视觉-语言-动作）模型能够从海量数据集中理解物理世界，但缺乏输出精确扭矩和轨迹所需的"动作标记"——这是阻碍具身智能商业部署的关键瓶颈。
-
真实世界数据采集：六种方法——主从臂（GELLO/ALOHA）、机器人末端夹持器（UMI/Pika）、手持式夹持器、外骨骼、可穿戴触觉传感器和VR/AR远程操作——能够捕获高保真物理演示数据。UFACTORY xArm 7兼容GELLO框架，全系列UFACTORY机械臂均兼容UMI和Pika框架。
-
虚拟仿真：Isaac Sim、MuJoCo、SAPIEN和Genesis等平台能够以近乎零成本生成大规模、完美标注的训练数据，但仍面临"仿真到现实的鸿沟"——即仿真物理环境与现实条件之间的不匹配。
-
核心结论：弥合动作标记差距需要结合真实数据和仿真数据。通往商业级具身智能的道路仍然漫长，关键在于稳健且泛化能力强的硬件。
引言：
VLA模型训练中缺失的一环
机器人技术正经历由具身智能驱动的重大范式转变，尤其是通过视觉-语言-动作（VLA）模型。在VLA中，"V"代表视觉（Vision），"L"代表语言（Language）。当今的AI模型可以通过在海量人类视频数据集上对神经网络进行预训练，来学习对物理世界的基础理解——通常被称为"世界模型"。
然而，这一预训练阶段缺少"A"——即动作标记（Action Token）。没有精确的动作参数，机器人就无法可靠地执行它所"看到"和"理解"的内容。为了弥合这一差距，工程师通常采用两种方法：
算法外推：机器人尝试实时推断所需的扭矩、电流和关节轨迹。这种方法在处理复杂任务时往往表现不佳。
数据微调/后训练：采集高质量的物理或虚拟演示数据来微调模型。这是当前实现高精度操作的最实用路径。
为了构建适应性强具身智能策略，机器人专家会同时采用真实世界环境和虚拟仿真两种方式进行数据采集。
第一部分：
真实世界数据采集方法
直接从物理环境中采集高保真动作数据能够让模型接触真实世界的物理规律，
但这也需要良好集成的硬件支持。
1. 主从臂（运动学对齐与缩放）
通过将人类操作员的动作映射到按比例缩小或运动学对齐的机械跟踪装置上（如GELLO、ALOHA和U-Arm），工程师可以捕获直接的操作轨迹。
这种方法在与工业级硬件配合时表现出了强大的性能。例如，UFACTORY xArm 7可以与GELLO装置集成，用于高质量数据采集。
技术基准：GELLO对UFACTORY xArm 7的逐关节映射能够准确捕获操作员意图，生成适用于精确操作任务的高质量轨迹数据。（数据集：80集，使用ACT训练50万步）。
2. 真实机器人末端夹持器
另一种常见方法是操作员手持专用硬件夹持器（如斯坦福大学的UMI或Pika装置），在真实环境中记录操作演示。虽然这种方法很有效，但仍然依赖于特定的机器人硬件参数和操作环境。
所有UFACTORY协作机械臂型号均可与UMI和Pika框架集成，用于快速数据采集：
技术基准：Pika可在各种机械臂上运行，无需针对每台机器人进行定制，是频繁切换环境的团队的便捷选择。（数据集：150集，使用ACT训练40万步）。
双xArm6装置使用UMI遥操作采集双臂演示数据，并训练LeRobot ACT策略实现协调操作。（数据集：50集UMI遥操作数据，使用ACT训练20万步）。
3. 独立于真实机器人的便携式手持夹持器
为了将数据采集与固定机器人平台解耦，便携式手持采集器允许人类操作员在各种空间中自由移动，记录手部轨迹和开合动作。这些轨迹随后通过软件算法映射和重定向到机器人上。
4. 外骨骼与可穿戴触觉传感器
为了采集更高保真的数据，操作员使用机械外骨骼、专用头戴式显示器（HMD）以及嵌入柔性压力传感器的可穿戴触觉或力控手套。其关键优势在于数据更丰富：除了捕获结构关节角度（运动学）之外，这些系统还能记录精细的手指交互力（触觉数据），使机器人能够学习如何轻柔或用力地与易碎物体交互。
5. VR/AR空间计算远程操作
使用Apple Vision Pro或Meta Quest等空间计算头显，操作员可以通过手部追踪和VR控制器实时远程操作物理机器人。
其中一个例子是我们与Extend Robotics的合作，这是一家专注于基于VR的机器人远程操作的公司。
其技术为机械耦合式主从系统提供了一种更灵活的替代方案，使操作员无需专用物理主臂即可控制机器人。Extend Robotics还被选中参与2026年Google DeepMind加速器：机器人技术项目，获得了技术指导和Google机器人AI技术的支持。
特斯拉等公司也曾使用动作捕捉设备和VR头显为Optimus人形机器人采集人类演示数据。更广泛地看，基于VR的远程操作可以支持地理分布式数据采集，使一个地点的操作员能够控制机器人并在远程站点记录演示。
6. 从视频与世界动作模型（WAM）中学习
最新的趋势是向世界动作模型（WAM）发展。在这一领域，算法分析大量第一人称（自我中心视角）或YouTube视频。通过扩散模型（类似于OpenAI的Sora技术），系统能够合成出虚拟机器人执行任务（如擦拭厨房台面）的高度逼真视频。然后使用这些合成视频来训练物理机器人。NVIDIA、Google DeepMind和1X Technologies等公司正在迅速降低该领域的技术门槛。
希望加速您的具身智能研究？探索UFACTORY协作机器人型号
为您的数据流水线找到合适的硬件平台。
第二部分：
虚拟仿真数据采集
为了给VLA模型提供大规模训练数据，工程师通常从物理空间转向高级仿真器，如Isaac Sim、MuJoCo（DeepMind）、SAPIEN（UCSD）、Meta Habitat、Genesis和桃源2.0。
仿真数据的核心优势
低成本与高并发：无需采购昂贵的物理机器人集群，团队可以在云端同时运行数千个并行仿真，以相对较低的计算成本大幅提高数据吞吐量。
绝对安全：当机器人在训练过程中摔倒、撞到墙壁或损坏易碎物体时，不会产生硬件损耗，也不会对操作人员构成风险。失败的代价几乎为零。
即时重置与无限多样性：复杂场景可以几乎瞬间重置。算法可以通过改变物体角度、材质纹理、光照和天气条件，动态生成成千上万种环境变化。
完美的真值标签：从仿真器的真值视角出发，系统可以原生生成像素级精确的3D坐标、深度图和语义分割数据，省去了大量人工标注工作。
主要缺陷：仿真到现实的鸿沟
仿真到现实的鸿沟（缺乏真实性）：物理引擎难以完美再现微观摩擦、软体变形和硬件延迟。在仿真中表现完美的模型在面对现实世界的多变性时仍然可能失败。
高资产开发成本：要实现高保真度，需要进行精细的3D重建。模拟长尾异常情况（如1万种不同褶皱的衣物或纹理各异的沙发）需要大量的前期资产创建和参数调优。
对理想环境的过拟合：仿真数据非常"干净"。由于模型习惯了零延迟、无噪音的环境，现实部署可能因为轻微的摄像头眩光或一小块油污而失败。
结论：
通往商业价值的漫长道路
解决动作标记瓶颈是下一代自动化的关键挑战之一。无论是通过精确的机械臂采集操作基准数据，还是通过WAM和仿真流水线学习的人形系统，具身智能都具有巨大的变革潜力。然而，从数据输入到可靠的自主工厂执行之间的差距表明，通往商业价值的道路仍然漫长，需要稳健的工程设计和可靠的硬件。