上周，我冒险从家出发，开了整整 15 分钟的路程，去看机器人做一些令人匪夷所思、瞠目结舌的事情。
我参观了位于马萨诸塞州剑桥市的一家名为Generalist AI的初创公司办公室，在那里我观看了机器人手臂执行一些简单的任务，比如堆叠杯子、将积木放入碗中等等。它们学习速度之快令我惊讶——简直就像真人一样。
手臂在摄入简短的教学视频后掌握了一系列任务，最令人印象深刻的是，没有针对给定任务的具体培训。最引人注目的例子之一是一个机器人，它被指示使用簸箕和刷子将一个块扫入碗中。当刷子从场景中取出时，机器人通过像刷子一样使用簸箕并将块状物弹入碗中进行即兴创作。
在另一个案例中，一个双臂机器人观看了一段视频，视频中有人拉开钱包拉链，取出了一些钞票。我目瞪口呆地看着机器人拉开另一种钱包的拉链，小心翼翼地取出钞票。最令人惊讶的是，当它抓不到钱时，它竟然从右臂换到左臂，以获得更好的抓取角度。“哈，”旁边一位工程师说道，“它以前从来没这么做过。”
“这正是人们对GPT-3感到非常兴奋的事情，”通才联合创始人兼首席执行官Pete Florence在谈到2020年发布的OpenAI突破性大型语言模型时告诉我。“你可以用这个模型，提示它做一个新任务，它就会有真正的机会去做。”
通才似乎专注于向机器人传授有关世界物理的知识，这似乎受到了人类从小就展现的物理直觉的启发。这很可能有助于模型将它在一个场景中学到的知识转移到另一个场景的能力。事实上，该公司的一些演示让我想到了孩子们在展示任务时如何即兴创作和实验。研究人员经常惊讶于…
我在一间会议室里见到了Florence和联合创始人兼首席技术官Andrew Barry，会议室俯瞰着一群正在使用特制机械手进行机器人训练的人们。公司的另一位联合创始人兼首席科学家是Andy Zeng。这三位创始人背景都非常出色：他们之前曾在谷歌DeepMind和波士顿动力公司工作，参与研发了一些最先进的硬件和机器人模型。
传统上，训练人工智能机器人执行不同的任务意味着将数千个示例输入模型。然而，这是一种众所周知的不完美的学习方式，如果你改变照明这样简单的东西，机器人将难以完成任务。
通才和其他一些机器人初创公司正在大力投资于由人类训练的一般机器人模型。该公司制造类似于机器人钳的特殊手套，上面装有摄像头，然后人们用它来做不同的家务。我看到一个箱子堆得很高，里面有几百个这样的夹子，目的地是墨西哥和其他地方的工人。
Florence和团队对他们用来训练机器人的配方非常谨慎，但他们表示，该公司已经收集了大量高质量的训练数据。与其他一些公司追求更智能的机器人相比，他们也完全从头开始构建人工智能模型，而不是依靠开源语言模型。
佐治亚理工学院的机器人专家Danfei Xu熟悉Generalist的工作，他说，这家初创公司在追求更通用的机器人模型的公司中脱颖而出。Xu说： “他们已经将这一点推向了极致，他们在执行方面做得非常好。”他说，除了收集大量高质量的数据外， “他们是优秀的机器人专家，他们做了非常好的科学研究。”
徐还表示，通用机器人公司目前展示的产品表明，他们有意将机器人部署到真正的商业环境中。“他们的产品最接近实际部署，”他说。
“通才的数据方法是大规模收集物理交互数据，而不会将其与特定的机器人过于紧密地联系起来，”斯坦福大学的机器人专家Karen Liu说，他也了解该公司。“他们最强劲的结果表明，这个赌注可能是有效的。”
也就是说，通才说其模型的学习技能还不完全可靠。平均而言，机器人只能在59%的时间内完成任务；理想情况下，其成功率将高达99%。似乎也不清楚这些技能在多大程度上适用于所有可以想象的任务或环境。
即便如此，机器人在制造业中快速学习技能的潜力似乎很大。通才的一位工程师似乎在最近的一个晚上发现了这一点。捕捉这一集的视频显示，工程师在一个双臂机器人面前将小杯子堆叠在桌子上，只是为了看看机器可能会做什么。机器人突然加入，用两个抓手抓住并堆叠其他杯子。当机器人完成堆叠时，
这是Will Knight’s AI Lab时事通讯的一个版本。在此处阅读以前的时事通讯。