人工智能正在改变我们周围的一切，但到目前为止，它在很大程度上仍然被数字领域所遏制。然而，越来越多的初创公司希望将其带入现实世界。
由两位前Meta研究科学家创办的初创公司就是这样一家公司。该公司成立于2024年11月，致力于开发前沿视觉模型，旨在帮助机器更有效地与物理环境进行交互。
本周，该公司推出了其最新型号Isaac 0.5 ，其创造者称其旨在为机器提供在工业环境中“感知、推理和行动”的能力。具体而言，该软件能够帮助视觉引导机器人在仓库或工厂车间等复杂环境中导航。它还可以帮助公司从这些机器人录制的视频中提取视觉智能。
Isaac 0.5也作为开放式权重模型发布，因此任何人都可以检查其参数和培训材料。
这家初创公司由Armen Aghajanyan和Akshat Shrivastava共同创立，他们之前曾在Meta的人工智能研究部门Fundamental AI Research （ FAIR ）工作。两人将他们的软件视为工业自动化部署的未来。
该公司表示： “今天的物理AI迫使人们做出错误的选择：通才基础模型需要为每个实例提供多个专用云GPU ，或者处理感知或控制的狭窄模型，但从未两者兼而有之。”
Aghajanyan和Shrivastava表示，他们的工具与该空间中的现有模型不同，因为它是通用的，这意味着它不是为特定的重复性任务而构建的。相反，他们说，该模型的设计是灵活的，取决于它所处的特定环境（或情况）。
在一次采访中， Shrivastava让我考虑一个简单的物理过程，比如组织盒子： “想象一下，现在有一个机器人被用来分拣包裹。它需要完成哪些任务？”
这样一个相对简单的任务确实包括许多步骤。机器人首先必须阅读包装上的标签，进行一些空间分析以了解盒子的位置，并决定拿起哪一个。如果它要捡起一系列盒子，则必须计划要捡起哪些盒子以及以何种顺序捡起。
Perceptron的软件旨在帮助机器人完成流程的每个步骤。需要明确的是，业界已经拥有可以帮助机器完成大部分任务的软件，但很少有程序可以灵活地完成这些任务。
这个算法炼金术的数据从何而来？
像Isaac 0.5这样的模型通过摄取大量的视频训练数据来学习操作技能。Perceptron表示，其新模型使用了100万小时的通用视频，以教其算法识别特定的设置、视觉效果和场景。该公司还严重依赖于所谓的
— video captured, typically through a GoPro or a wearable camera, from the perspective of a person completing a physical task — as well as
, which are similarly used to teach AI systems movements by recording repetitive human actions.
While Perceptron isn’t disclosing the sources of its training data, Shrivastava said that the company had “internally built petabyte-scale datasets that span across modalities, whether it’s images, text, video, etc. all the way through robotic trajectories.”
The utility of a software that can help robots operate competently in warehouses is obviously vast, and Perceptron thinks it’s well-positioned to lead that wave of automation. The startup is ready to market its software to a variety of vendors, and thus potentially see its intelligence layer integrated into a broad array of industries.
Those industries include manufacturing, logistics and warehousing, security, mobility, as well as media and entertainment.
“Nothing like this really exists out there,” said Aghajanyan. “We’re really excited about it.”
The company previously raised $16 million from Bessemer Venture Partners, The Explorer Fund and SmartGateVC in 2024, according to
. TechCrunch understands the startup is in the process of closing an additional round.
An earlier version of this story incorrectly reported recent funding details.