人类的感官系统非常擅长识别我们看到的物体或听到的单词，即使物体是颠倒的，或者这个单词是我们从未听过的声音说的。
被称为深度神经网络的计算模型可以被训练来做同样的事情，无论狗的皮毛是什么颜色，都能正确识别狗的图像，或者无论说话人的声音高低，都能正确识别一个单词。然而，麻省理工学院神经科学家的一项新研究发现，这些模型通常对与目标不相似的图像或单词也有同样的反应。
当这些神经网络被用来生成图像或单词时，它们会以与特定自然输入(如熊的图片)相同的方式做出反应，其中大多数生成的图像或声音对人类观察者来说是无法识别的。这表明，这些模型建立了自己独特的“不变性”——也就是说，它们对具有非常不同特征的刺激做出同样的反应。
麻省理工学院大脑和认知科学副教授、麻省理工学院麦戈文大脑研究所和大脑、思想和机器中心的成员乔希·麦克德莫特说，这些发现为研究人员评估这些模型模拟人类感官知觉组织的程度提供了一种新方法。
该研究的资深作者麦克德莫特说:“这篇论文表明，你可以使用这些模型来得出不自然的信号，最终对模型中的表征非常有诊断作用。”“这个测试应该成为我们作为一个领域用来评估模型的一系列测试的一部分。”
Jenelle Feather博士他现在是Flatiron研究所计算神经科学中心的一名研究员，是发表在《自然神经科学》上的开放获取论文的主要作者。麻省理工学院研究生Guillaume Leclerc和麻省理工学院计算机韵律设计系统教授Aleksander M?dry也是该论文的作者。
近年来，研究人员已经训练了深度神经网络，它可以分析数百万个输入(声音或图像)，并学习共同特征，使它们能够像人类一样大致准确地对目标单词或物体进行分类。这些模型目前被认为是生物感觉系统的主要模型。
据信，当人类的感官系统进行这种分类时，它会学会忽略与物体核心身份无关的特征，比如有多少光线照射在物体上，或者从什么角度看物体。这就是所谓的不变性，意思是物体被认为是相同的，即使它们在那些不太重要的特征上表现出差异。
费瑟说:“传统上，我们对感觉系统的看法是，它们对同一事物的不同例子可能具有的所有变异源建立了不变性。”“即使它们表现出非常不同的感觉信号，生物体也必须认识到它们是一样的。”
研究人员想知道，被训练来执行分类任务的深度神经网络是否会发展出类似的不变性。为了回答这个问题，他们使用这些模型来产生刺激，这些刺激在模型中产生与研究人员给模型的示例刺激相同的反应。
他们将这些刺激称为“模型元量”，从经典感知研究中恢复了一个想法，即系统无法区分的刺激可以用来诊断其不变性。超色元的概念最初是在对人类感知的研究中发展起来的，用来描述即使由不同波长的光组成但看起来相同的颜色。
令他们惊讶的是，研究人员发现，以这种方式产生的大多数图像和声音看起来和听起来都不像模型最初给出的例子。大多数图像都是杂乱无章的像素，声音就像听不懂的噪音。当研究人员将图像展示给人类观察者时，在大多数情况下，人类并没有将模型合成的图像与原始目标样本归为同一类别。
“它们真的完全无法被人类识别。它们看起来或听起来都不自然，也没有可解释的特征，人们可以用它们来对物体或单词进行分类，”羽毛说。
研究结果表明，这些模型在某种程度上发展了自己的不变性，与人类感知系统中的不变性不同。这导致模型将成对的刺激视为相同的，尽管它们与人类截然不同。
研究人员在许多不同的视觉和听觉模型中发现了同样的效果。然而，这些模型中的每一个似乎都有自己独特的不变性。当一个模型中的元数据显示给另一个模型时，第二个模型就像人类观察者一样无法识别这些元数据。
麦克德莫特说:“从中得出的关键推论是，这些模型似乎具有我们所说的特质不变性。”“它们已经学会了对刺激空间中的这些特定维度保持不变，这是特定于模型的，所以其他模型没有这些不变。”
研究人员还发现，通过使用一种称为对抗性训练的方法，他们可以诱导模型的元数据更容易被人类识别。这种方法最初是为了克服物体识别模型的另一个限制而开发的，即对图像引入微小的，几乎难以察觉的变化可能导致模型错误识别它。
研究人员发现，对抗性训练，包括在训练数据中加入一些稍微改变的图像，产生的模型的元数据对人类来说更容易识别，尽管它们仍然不如原始刺激那么容易识别。研究人员说，这种改善似乎与训练对模型抵抗对抗性攻击的能力的影响无关。
“这种特殊的训练形式有很大的影响，但我们真的不知道为什么会有这种影响，”费瑟说。“这是未来研究的一个领域。”
研究人员说，分析计算模型产生的元数据可能是一个有用的工具，可以帮助评估计算模型对人类感官知觉系统的潜在组织的模仿程度。
“这是一个行为测试，你可以在一个给定的模型上运行，看看模型和人类观察者之间是否有相同的不变性，”费瑟说。“它还可以用来评估给定模型中的不变性有多特殊，这可能有助于发现未来改进我们模型的潜在方法。”
更多信息:模型元测量揭示生物和人工神经网络之间的分歧不变性，自然神经科学(2023)。DOI: 10.1038 / s41593 - 023 - 01442 - 0。www.nature.com/articles/s41593-023-01442-0期刊信息:自然神经科学
麻省理工学院提供
本文由麻省理工学院新闻(web.mit.edu/newsoffice/)转载，这是一个报道麻省理工学院研究、创新和教学新闻的热门网站。
引用:研究:深度神经网络不像我们那样看世界(2023,10月16日)检索自https://techxplore.com/news/2023-10-deep-neural-networks-dont-world.html这个文档
作品受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。的有限公司
内容仅供参考之用。
