拼图和游戏可以揭示模特智慧的差距。试试这七个测试，看看你是否能战胜人工智能。
从一开始，拼图和游戏就一直是人工智能发展的核心。就像我们人类喜欢用填字游戏或逻辑谜题来测试我们的智慧一样，开发人员可以用游戏挑战来测试模型的进步程度。“机器学习”一词是在1959年由IBM计算机科学家亚瑟·塞缪尔（ Arthur Samuel ）撰写的一篇关于学习下棋的算法的文章中普及的。国际象棋和中国棋盘游戏围棋也是著名的人工智能测试平台。
纯粹根据其令人费解的技能来判断，人工智能正在迅速取得很大进步。2024年底，哥伦比亚大学的一个科学家小组表明，即使是最好的模型也只能解决18%的臭名昭著的纽约时报连接谜题；到2025年初，一些模型每次都可以完美地解决这些问题。
但谜题不仅仅突出了人工智能功能不可阻挡的进步。看到模型的成功和失败，以及我们人类仍然击败他们的地方，可以为技术的优势和劣势提供一个有用的窗口。尽管取得了进步，但今天的模特们仍然摸索不定：经典谜语的微妙变化往往会让他们失望，而视觉谜题则是一个特别薄弱的地方。
在这里，您将有机会在一次或另一次绊倒模型的谜题上测试您的智慧。有些人对你来说可能和人工智能一样棘手;其他人太简单了，他们会让你怀疑人工智能是否真的很聪明。每一个都至少突出了机器和人类认知的不同之处。如果你通过了测试，你将证明你可以拼出一个人工智能-至少现在是这样。
让我们从人类拥有巨大优势的领域开始：空间推理。如果你曾经参加过智商测试，你可能有过心理旋转问题。这些谜题要求您确定不同的图像是否从不同的角度代表相同的对象。虽然今天的语言模型通常具有分析视觉输入的能力，但它们在这些难题上仍然失败了。对于所有关于世界模型如何帮助人工智能的讨论……
说明：从不同的角度选择在提示中显示对象的答案。在每种情况下，只有一个正确答案！
Frontier LLM有着非凡的记忆；他们在培训期间接触到了大量的事实，可以忠实地背诵其中的许多事实。这是在琐事上超越人类的资产，但它也可能是一种负担。当一个谜题与模型在训练中看到的谜题非常相似时，模型可能会发现关键的差异，并用它记住的东西做出回应。
在2024年的一项研究中，谷歌和伊利诺伊大学香槟分校的研究人员对一种名为Knights and Knaves的经典谜题的轻微变化进行了训练和测试。在这些问题中，有些人物总是说实话，有些人物总是撒谎，你必须弄清楚谁是谁。同样的原理可能在名为SimpleBench的测试中起作用。这些问题类似于更复杂的问题，比如……
说明：要解决这些谜题，你唯一需要知道的是，骑士总是说实话，无赖总是撒谎。根据每个角色所说的内容来确定谁是谁。
说明：仔细阅读这些SimpleBench问题，您应该能够立即找到答案。
人工智能不仅可以在3D中解决视觉问题-两个维度也可以将其绊倒。这是模型在最著名的基于拼图的基准ARC-AGI上的表现的一个主要因素。这些问题需要您从一组示例中推断出抽象的一般规则。当模型接收每个网格不是作为图像而是作为编码每个单元格颜色的一串数字时，模型在弧线谜题上表现得更好。
研究表明，即使模型正确回答了ARC-AGI问题，它们也经常使用拜占庭和非通用规则，而人类则借鉴了简单的视觉概念。尽管存在这些缺点，但在过去的一年中，模型在ARC-AGI方面已经变得相当不错，但一些谜题-例如在这里打印的谜题-仍然存在。
Instructions:Study the three pairs of grids shown below to figure out the rule that dictates how the ones on the left transform into the ones on the right. Then get out your markers or colored pencils and fill in the fourth grid using that rule. (The solution is the same no matter which way the grids are oriented.)
It’s not just AI models that fall into traps. We humans have our own cognitive foibles, many of which AI does not share. Psychologists have designed problem suites that invert the SimpleBench phenomenon: For these questions, humans often give knee-jerk answers, whereas models will respond deliberatively. Some of the problems exploit errors in the ways that we intuitively do math; others are phrased so as to suggest obvious answers that fall apart…
In some cases, whether an LLM can complete a puzzle is a matter of scale. One study from researchers at Apple found that LLMs can ace simple versions of the Tower of Hanoi problem, which involves moving a stack of disks one at a time without ever putting a larger disk atop a smaller one, and river-crossing puzzles, in which a group of people must traverse a river according to certain rules. But only up to a point: As the number of disks or people…
In another study, researchers at the University of Washington, Stanford University, and the Allen Institute for AI observed that LLMs struggle similarly with logic grid puzzles, which require deducing the attributes of a set of individuals from a list of clues. The Apple paper went viral, but commentators questioned whether the results reveal a unique limitation of LLM reasoning—or just that it’s normal to make errors as complexity piles up.
Instructions:Using the scenario provided, plan the trips necessary to get everyone across the river.
Instructions:Using the list of clues, determine who lives in each house and what style of music each person enjoys. There is only one possible solution. You may find it helpful to fill out the grid below to keep track of your deductions.
Grace Huckins is an AI reporter atMIT Technology Review. They have a PhD in neuroscience.
Mental Rotation:CC BY 4.0. Stogiannidis, Ilias, Steven McDonagh, Sotirios A. Tsaftaris. Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models (copyright 2025); illustrations by John MacNeill.Knights & knaves: Courtesy Dan MacKinnon.Simplebench:CC BY 4.0. SimpleBench Team. The Text Benchmark in which Unspecialized Human Performance Exceeds that of Current Frontier Models (copyright 2024).ARC-AGI: CourtesyARC Prize Foundation.Light…
It makes it easy to trick them into doing things they shouldn’t, such as telling you how to sabotage an aircraft’s navigation system.
A new technique has let the company probe deeper than ever into the weird workings of an LLM.
AI doesn’t just learn stereotypes from its training. It can cook up new ones, too.