新的“虚幻”面部数据集揭示了人类和算法面部检测之间的差异、与动物面部识别的联系以及预测人们最常感知面部的位置的公式。
1994 年，佛罗里达州珠宝设计师戴安娜·杜伊瑟在一块烤奶酪三明治中发现了她认为是圣母玛利亚的形象，她保存了下来，后来以 28,000 美元的价格拍卖。但我们对空想性错视（即在物体中看到人脸和图案但实际上并不存在的情况）到底了解多少呢？
麻省理工学院计算机科学与人工智能实验室 (CSAIL) 的一项新研究深入研究了这一现象，引入了一个包含 5,000 张幻想性错觉图像的庞大的人工标记数据集，远远超过了以前的收集量。利用这个数据集，该团队发现了一些令人惊讶的结果，这些结果与人类和机器感知之间的差异有关，以及看到一片面包中的面孔的能力如何挽救了你远房亲戚的生命。
“面部幻想性错觉长期以来一直让心理学家着迷，但在计算机视觉界，它基本上还没有被探索过，”麻省理工学院电气工程和计算机科学博士生、CSAIL 附属机构、这项研究的首席研究员马克·汉密尔顿 (Mark Hamilton) 说道。“我们希望创建一种资源，帮助我们了解人类和人工智能系统如何处理这些虚幻的面孔。”
那么，所有这些假面孔揭示了什么呢？首先，人工智能模型似乎无法像我们一样识别幻想性错觉面孔。令人惊讶的是，研究小组发现，直到他们训练算法识别动物面孔后，算法在检测幻想性错觉面孔方面才有了显著提高。这种意想不到的联系暗示了我们识别动物面孔的能力（这对生存至关重要）与我们在无生命物体中看到面孔的倾向之间可能存在进化联系。“这样的结果似乎表明，幻想性错觉可能不是源于人类的社会行为，而是源于更深层次的东西：比如快速发现潜伏的老虎，或者识别鹿的方向，以便我们的原始祖先可以狩猎，”汉密尔顿说。
另一个有趣的发现是研究人员所谓的“幻想性错视的金发姑娘区”，这是一类最容易发生幻想性错视的图像。麻省理工学院电气工程和计算机科学教授、该项目首席研究员威廉·T·弗里曼 (William T. Freeman) 表示：“在特定的视觉复杂度范围内，人类和机器最有可能在非面部物体中感知到面部。”“太简单了，就没有足够的细节来形成一张脸。太复杂了，就会变成视觉噪音。”
为了揭示这一现象，该团队开发了一个方程，用于模拟人类和算法如何检测虚假面孔。在分析这个方程时，他们发现了一个明显的“幻想性峰值”，即看到面孔的可能性最高，对应于复杂度“恰到好处”的图像。随后，这一预测的“金发姑娘区”在真实人类受试者和 AI 人脸检测系统的测试中得到了验证。
这个名为“事物中的面孔”的新数据集，远远超过了之前通常仅使用 20-30 个刺激物的研究。这种规模使研究人员能够探索最先进的人脸检测算法在对幻想性人脸进行微调后的表现，表明这些算法不仅可以编辑来检测这些面孔，而且它们还可以充当我们大脑的硅替代品，使团队能够提出和回答关于幻想性人脸检测起源的问题，而这些问题在人类身上是不可能提出的。
为了建立这个数据集，该团队从 LAION-5B 数据集中挑选了大约 20,000 张候选图像，然后由人类注释者对这些图像进行细致的标记和判断。这个过程包括在感知到的面孔周围绘制边界框，并回答有关每张面孔的详细问题，例如感知到的情绪、年龄以及面孔是无意的还是故意的。“收集和注释数千张图像是一项艰巨的任务，”汉密尔顿说。 “大部分数据集的存在都要归功于我的妈妈”，她是一名退休银行家，“她花了无数的时间精心标记图像以供我们分析。”
这项研究还可能通过减少误报来改进人脸检测系统，这可能对自动驾驶汽车、人机交互和机器人等领域产生影响。数据集和模型还可以帮助产品设计等领域，在这些领域，理解和控制幻想性错觉可以创造出更好的产品。“想象一下，能够自动调整汽车或儿童玩具的设计，使其看起来更友好，或者确保医疗设备不会无意中显得具有威胁性，”汉密尔顿说。
“人类本能地将无生命物体与人类特征联系起来，这真是令人着迷。例如，当你瞥了一眼电源插座时，你可能会立即想象它在唱歌，你甚至可以想象它会如何‘动嘴唇’。然而，算法无法像我们一样自然地识别这些卡通面孔，”汉密尔顿说。“这引发了一些有趣的问题：是什么导致了人类感知和算法解释之间的差异？空想性错视是有益还是有害？为什么算法不会像我们一样体验到这种效果？这些问题引发了我们的调查，因为这种人类经典的心理现象在算法中尚未得到彻底探索。”
当研究人员准备与科学界分享他们的数据集时，他们已经开始展望未来。未来的工作可能涉及训练视觉语言模型来理解和描述幻想性面部表情，从而有可能让人工智能系统能够以更像人类的方式与视觉刺激互动。
“这是一篇令人愉快的论文！读起来很有趣，让我思考。汉密尔顿等人提出了一个诱人的问题：为什么我们会在物体中看到面孔？”加州理工学院艾伦·E·帕克特电气工程教授皮埃特罗·佩罗纳 (Pietro Perona) 说，他没有参与这项研究。“正如他们指出的那样，从包括动物面孔在内的例子中学习只能解释这一现象的一半。我敢打赌，思考这个问题会让我们学到一些重要的东西，关于我们的视觉系统如何在生活中接受的训练之外进行推广。”
Hamilton 和 Freeman 的合著者包括丰田研究所研究员 Simon Stent、脑与认知科学系首席研究员、NVIDIA 研究科学家、前 CSAIL 成员 Ruth Rosenholtz、CSAIL 附属机构博士后 Vasha DuTell、Anne Harrington MEng ’23 和研究科学家 Jennifer Corbett。他们的工作部分得到了美国国家科学基金会和 CSAIL MEnTorEd 研究机会 (METEOR) 奖学金的支持，同时得到了美国空军研究实验室和美国空军人工智能加速器的赞助。麻省理工学院超级云和林肯实验室超级计算中心为研究人员的成果提供了 HPC 资源。
这项工作将于本周在欧洲计算机视觉会议上发表。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/ren-gong-zhi-neng-kong-xiang-xing-cuo-shi-ji-qi-neng-gou
