新闻
买球下单平台原本的一个格子被切成了 4（2 × 2）个-买球·(中国)投注APP官方网站
o3 在超难推理任务 ARC-AGI 上的收成，属实给东谈主类带来了不少震荡。
但有东谈主挑升接洽了它不会作念的题之后，有了更意旨的发现——
o3 之是以不会作念这些题，原因可能不是因为太难，而是题主义范围太大了。
来自英国的 ML 工程师 Mikel Bober-Irizar（不妨叫他米哥），对 ARC 题目进行了纵容不雅察。
效果米哥发现，题目中的网格范围越大，大模子的发达也就越差。
而且不仅是 o3，o1 和 o1 mini，还有近邻的 Claude，齐出现了这么的风物。
米哥的这项接洽，引起了东谈主们对大模子使命机制的好多筹商。
宇宙首位全职教唆词工程师Riley Goodside看到后，也以为这是一项很好的接洽。
大模子被困在了网格范围上
如故先简短转头一下 ARC 挑战，题目带有色块的网格阵列（以文本样式表述，用数字代表脸色），大模子需要不雅察每谈题目中 3 个输入 - 输出示例，然后凭据规章填充新的空缺网格。
米哥发现，在 ARC 挑战中，范围越大，也等于网格的数目越多，大模子的发达也就越差。
o3 也逃不外这么的魔咒，但比拟于其他模子，o3 发达的昭彰下落出现得更晚，大要在网格数目达到 1024 个之后（请记取这个位置，背面还会讲到）。
为了进一步考据这个发现，米哥还用 o1-mini 进行了现实测试。
下图当中，阁下两栏的题目乍一看上去好像没什么区别，但在右边，米哥对网格进行了细粒度的切割，原本的一个格子被切成了 4（2 × 2）个。
效果原本能作念对的题，切成小块之后，o1-mini 还真就不灵了。
进一时势，米哥还对 ARC 数据蚁合的范围散播进行了统计，效果刚好是范围在 1024 个像素的题目数目最多。
还谨记前边 o3 收成下落趋势短暂变大的位置吧，刚好等于在 1024 邻近。
米哥以为，这等于 o3 在 ARC 挑战上取得优异收成的报复身分，而其他模子收成欠安，是因为对应的小范围试题占比较少。
是以在米哥看来，ARC 挑战并不成齐全反应大模子果然的推理才能——有不少模子齐被低估，o3 则是被高估了。
ARC 挑战不得当大模子？
那么，为什么题目中网格数目一多，大模子的发达就不好了呢？
先来看米哥的分析。
米哥援用了纽约大学的一项接洽效果（arXiv：2409.01374），这项接洽发现东谈主类在挑战这么的问题时并不会出现这种风物。
若是在东谈主类和模子之间作念个比较，那么在范围较小时 o3 的发达不错说完胜东谈主类，但范围较大时优越方就形成了东谈主类。
这讲明，大模子在处罚此类问题时，想考形态和东谈主类依然存在隔离。
天然，大模子在挑战 ARC 时看到的不是图像，而是用数字代表的矩阵，这是可想而知的，但隔离还不啻于此。
东谈主类在靠近 ARC 问题时，即使是用这种数字矩阵来暗示，也能够看出视觉信息，意会其中的位置联系。
在空间中，ARC 是一个二维问题，需要跨行和列进行推理，但大模子在处理 token 时是以一维设施进行的。
这意味着，大模子进行跨列推理时，需要组合较长的高下文信息。
而跟着网格变得更大，模子需要对更长的高下文进行推理，况且必须对相距较远的数字进行组合和推理。
米哥之前已经和剑桥大学高档接洽员 Soumya Banerjee 此前进行的一项接洽（arXiv：2402.03507）标明，通过对矩阵进行 90 度旋转，让模子分袂基于行和列进行推理，比径直作念题收成擢升了一倍。
是以米哥以为，是不雅察问题的维度影响了大模子的收成，ARC 这种任务并不得当大模子。
他还暗示在 NeurIPS 上听到了一个很好的类比——
将二维的 ARC 任务交给大模子，就像盼望东谈主类在四维空间中进行推理。
同期网友们还指出，诚然实质上触及了维度各别，但视觉依然是一个报复身分。
遐想一下，若是东谈主莫得视觉才能，单纯依靠听或其他形态获取对于其中网格的信息，也很难径直构建出二维的矩阵。
不外说到这，即便模子领有"视觉"才能，亦然将视觉信息鼎新为 Token，和东谈主类的视觉也偶然探究。
网友以为，信得过的视觉需要能够处理并行输入的信息，而不是逐一 Token 的串行输入，二进制 IO 数据流简略是一种处罚决策。
One More Thing
凭据 ARC 挑战官方的说法，ARC-AGI 的下一代 ARC-AGI-2 行将推出。
早期测试标明，其将对 o3 组成首要挑战——
即使在高研究量模式下，o3 的得分也可能会裁减到 30% 以下（而灵敏东谈主仍然能够得分最初 95%）。
— 完 —
点这里� � 体恤我，谨记标星哦～
一键三连「共享」、「点赞」和「在看」
科技前沿进展日日再会 ~