物理AI的前沿是在加利福尼亚州圣莱安德罗的一个仓库里进行的一场积木游戏。
一家构建用于训练AI模型的数据工具的公司。Andrew Ceja 是一名飞行员——公司对其机器人训练师的称呼——他戴着一个带有摄像头的头盔，仔细地从摇摇欲坠的积木塔中抽出木块。仅这一点在收集机器人训练数据时已经相当常见，但这个头盔还包括可以测量他在仔细拆解积木塔时脑电波的传感器。
Encord 是越来越多的初创公司之一，这些公司认为下一个真正制约人形机器人和仓库机器人发展的瓶颈将是现实世界物理训练数据的稀缺，并且该公司不仅致力于管理这些数据，还要制造这些数据。
塞哈佩戴的脑电波头戴设备是由
一家德国神经科学初创公司，该公司认为通过测量大脑活动（以推断错误、意图和惊讶等心理状态）可以创建更有用的数据集来训练模型。Encord与Zander的合作目前还处于试验阶段；Encord表示，目标是建立一个初步的脑电波标记数据集，将其通过客户的机器人模型运行，并评估其是否确实能提高性能，然后再决定是否扩大规模。
卢卡斯·盖尔克，一位监督这项工作的桑德神经科学家，表示，在给定任务的任何时间点使用的脑活动量为模型构建者提供了线索，帮助他们确定何时需要部署最高努力的模型。
这是解决机器人数据瓶颈的“前沿”努力，Encord的机器人学习负责人Vineeth Velmurugan如是说。Velmurugan是OpenAI机器人实验室和仓库自动化公司Berkshire Grey的资深人士，他加入Encord是为了组建公司的内部数据创建团队。
Encord 成立的目的是帮助构建机器视觉应用的公司标注数据和评估模型。随着他们的客户——Velmurugan 表示他们与许多领先的机器人公司合作，但他无权透露这些公司的名称——开始将端到端学习应用于机器人操作任务，管理层意识到他们必须自己生成训练数据，而不仅仅是管理数据。“这些数据根本不存在，”Velmurugan 说。
生成式AI能否为机器人带来像聊天机器人那样的变革，这一赌注不断遇到同样的障碍。自动驾驶汽车公司自己收集物理世界的数据，但这很难扩大规模。从视频中进行训练是可行的，但缺乏真实世界数据的精细度。Velmurugan 表示，要突破这一障碍，需要一个相当于 YouTube 视频库五倍规模的数据集——这一规模也解释了为什么数据生成本身已经成为一项业务，而不仅仅是一个研究问题。
正在构建机器人大脑的公司现在主要转向两个来源：“以自我为中心”的视频，这些视频由佩戴摄像头的工人收集，通常会增加其他摄像角度和其他指标，以及
远程操作。Encord 既从全球多个工厂收集以自我为中心的数据，又在其圣莱安德罗设施中试验新的模态，如脑电波，或围绕特定技能收集数据集以进行微调。
当TechCrunch访问时，飞行员正在使用主从装置——成对的机械臂，一个由人类操作员直接控制，另一个模仿其动作——来创建关于从壶中倒咖啡到杯子（非常溅）和堆叠扑克筹码等任务的数据。“每家类人机器人公司都向我们索要这些部件，”Velmurugan说。
存储架上摆放着装有假花的花瓶、书籍、塑料蔬菜、猫砂盆和铲子、电线袋和捆——这些都是训练家庭任务操作员所需的物品。
在其中一个工作站，另一位飞行员索菲亚·因凡特操作机械臂，将网线插拔到服务器背面——这是数据中心运营商希望实现自动化的任务，但前提是机器人能够以所需的精度操作这些设备。当我亲自操作控制器时，我明白了为什么这仍然无法实现：机械夹爪远没有人类手指那么灵巧，缺乏我们手臂中习以为常的自由度。
Encord 正在开发的另一种新的数据模式是使用绑在前臂上的一组传感器来检测肌肉中的电信号。通常，拍摄人类手部操作物体的视频无法捕捉到整个手部，但 Velmurugan 希望通过臂部传感器构建手部在任何时间位置的 3D 描述，从而为模型创建更全面的理解。
Encord的数据集标注了每个视频包含的物理描述——例如“右手拧紧螺栓”——以帮助基于LLM的模型理解正在发生的事情。Velmurugan估计，这种密集的标注对于训练特定任务的价值是“垃圾自我数据”的100倍，而其生产成本仅高出20倍，从理论上讲，这是一个很好的交换。
但是，“20倍更多”仍然是真金白银，这就是关键所在：从互联网上抓取文本，如LLM制造商通过从Stack Overflow和网络其他部分获取数据来构建模型，几乎不花费前沿实验室任何成本。而生成物理训练数据则不然，这是将物理AI与LLM进行比较的局限性。这种数据必须制造，而不仅仅是收集，这改变了构建这些模型的经济性。
Velmurugan 表示进展正在取得——凭借 Encord 对整个行业程序的可见性，他能够看到初创公司和前沿实验室 alike 解决什么有效、什么无效，以改进物理 AI 模型。这种视角——同时位于多家机器人公司之间——也是 Encord 的卖点之一。它可以在任何单一客户之前发现哪些数据技术正在全行业范围内获得 traction。
这将使 Encord 设施中的十几名飞行员保持忙碌。Infante 和 Ceja 是正在发展壮大的神经网络构建模块劳动力的一部分；他们之前曾在另一家 AI 数据标注公司 Scale 工作，之后加入了 Encord。
Ceja 曾在一家废物管理公司工作，他对技术的兴趣使他负责保持一台机器人垃圾分拣器的良好运行状态。现在，随着 Jenga 塔的倒塌，他说他喜欢为机器人解决训练任务的挑战——“每天都有新的东西！”