神经网络
根据CC BY-NC 2.0 许可的brentsview的图像大脑从外界接收信息,其神经元在输入处接收数据,进行处理并产生一定的结果。 可能是一个想法(我要咖喱吃晚饭),动作(制作咖喱),改变情绪(欢呼,咖喱!)。 无论输出发生什么,这种“事情”都是将数据从输入(菜单)转换为输出结果(请“ chicken dhansak”)。 而且,如果您将大脑想象成具有输入到输出的转换器,那么与计算机的类比是不可避免的。
对于某些人来说,这只是一个有用的修辞手段,对于其他人来说,这是一个严肃的想法。 但是大脑不是计算机。 电脑是每个神经元。 大脑皮层中有170亿台计算机。
看一下这个:
金字塔形神经元以2D投影。 中间的黑点是神经元的身体,其余的电线是其树突。 图片: Alain Dextes这是锥体神经元的图像。 这种细胞构成了大脑大部分皮层。 中央的斑点是神经元的身体,是树突,缠绕电线,这些电线收集来自其他近,远神经元的输入,并在所有方向上伸展和分支。 输入数据沿每个枝晶的整个长度分布,其中一些紧邻人体,而其他则位于尖端。 信号准确到达的位置很重要。
许多人不了解输入位置的重要性。 通常,神经元的工作被简化为简单加法器的想法。 在这个想法中,树突只是用于收集输入数据的设备。 单独激活每个输入会稍微改变神经网络中的电压。 如果我们总结所有树突状细胞的电流,则会生成树突状动作电位(尖峰),其沿着轴突下降并成为其他神经元的输入。
如果输入总和超过阈值(灰色圆圈),则具有输入信号总和并生成树突动作电位的神经元模型这是一个方便的心理模型;它是所有人工神经网络的基础。 但是她错了。
树突不仅仅是金属丝。 他们也有自己的产生尖峰的设备。 如果在树枝状结构的一小部分区域内激活了足够多的输入,则将加强它们:
两个彩色凝块是一个枝晶部位的两个入口。 当他们激活自己时,每个人都会产生响应。 图中的灰色箭头指示此输入的激活(此处的响应表示“电压变化”)。 联合激活时,响应(实线)大于各个输入的总和(虚线)主动输入的数量与小范围枝晶中响应大小之间的比率如下:
响应于有效输入数量增加,树枝状结构一个分支中的响应大小。 本地“尖峰”是从最小反应到较大反应的急剧转变我们看到了一个局部激增:从几乎为零的反应到几个输入的突然跳跃,再加上一个又一个的非常大的反应。 树突的这一部分“超线性”工作,这里2 + 2 = 6。
多年以来,我们已经知道在树枝状晶体的各个区域中的这些局部爆发。 我们
在大脑的各个部位看到了神经元的尖峰。 我们
在麻醉下的动物身上看到了它们,这使他们的爪子挠了痒(是的,大脑仍然感觉失去知觉;它只是不理会答案)。 最近,我们
在运动的神经元的
动物树突中看到了它们(是的,Moore及其同事在离正在奔跑的老鼠的大脑几微米处记录了一个EM场;这是疯狂的,对吧?)。 锥体神经元的树突确实会产生连合。
但是,为什么这种局部爆发会改变我们对大脑作为计算机的理解? 因为锥体神经元的树突
具有许多独立的分支。 每个人都可以计算结果并给出一个飞溅。 这意味着树枝状晶体的每个分支都充当小型非线性输出设备,如果该分支大约在同一时间接收到足够数量的输入,则将其相加并输出局部突发:
似曾相识 如果同时有足够的输入,则一个树枝状分支就充当一个小的装置,用于对输入求和并发出突发信号。 从输入到输出(灰色圆圈)的转换与我们上面已经看到的相同,它确定了尖峰的强度等一下 那不是我们的神经元模型吗? 是的,就是她。 现在,如果用一个小的“神经”设备替换树突的每个小分支,则锥体神经元看起来像这样:
左:神经元的许多树突分支(身体上方和下方)。 正确:事实证明,这是一组非线性求和设备(具有非线性输出的黄色框),它们输出到神经元的身体(灰色框)并在那里进行求和。 熟悉吗?是的,每个锥体神经元都是两层神经网络。 本身。
Poirazi和Mel在2003年
的出色工作清楚地表明了这一点。 他们建立了一个神经元的复杂计算机模型,模拟了每一个小小的树突,树突内部的局部爆发以及它们如何降落到人体。 然后,他们直接将神经元的输出与两层神经网络的输出进行了比较-事实证明它们是相同的。
这些局部爆发的非凡意义是每个神经元都是一台计算机。 神经元本身能够计算出很大范围的所谓非线性函数,将其简单地求和并产生尖峰。 例如,通过四个输入(蓝色,海洋,黄色和太阳)和两个分支充当小型非线性设备,金字塔神经元可以计算“链接符号”的功能:响应蓝色和海洋的组合或响应黄色和太阳的组合,但不响应否则,例如蓝色和太阳或黄色和海洋。 当然,神经元有四个以上的输入和两个以上的分支:因此,它们能够计算逻辑功能的天文范围。
最近,
罗曼·凯斯 (
Romain Case)与朋友 (我是我的朋友之一)表明,单个神经元即使无法产生局部树突突,也能计算出惊人的功能范围。 因为树突当然不是线性的:在正常状态下,它们实际上汇总了输入数据,得到的结果少于各个值的总和。 在这种模式下,它们以次线性方式工作,即2 + 2 = 3.5。 亚线性求和的许多树枝状分支的存在也使神经元可以充当两层神经网络。 两层神经网络,用于计算由具有超线性树突的神经元构成的一组不同的非线性函数。 几乎每个神经元都有树突。 因此,几乎所有神经元原则上都可以是两层神经网络。
局部峰值的另一个令人惊讶的结果是,神经元对世界的了解远不如他们告诉我们-或其他神经元。
我最近
问了一个简单的问题 :大脑如何分配信息? 当我们查看大脑中神经元之间的连接时,我们可以追踪从任何神经元到任何其他神经元的路径。 那么,如何明显地在大脑的一个部位(例如咖喱味)中获得可用的信息,而不在大脑的所有其他部位(例如,在视觉皮层中)出现呢?
有两个相反的答案。 首先,在某些情况下,大脑没有分裂:信息确实出现在陌生的地方,例如,声音到达负责在地面定向的大脑区域。 另一个答案是:树突共享大脑。
正如我们所看到的,局部突发是一个非线性事件:它大于输入总和。 神经元的身体基本上无法检测到任何不是局部爆发的事物。 这意味着它忽略了大部分输入:为大脑其余部分产生冲动的区域与神经元接收到的大多数信息是隔离的。 仅当许多输入在时间和空间上同时处于活动状态(在相同的树突部位)时,神经元才会做出反应。
在这种情况下,事实证明树突对神经元无反应。 这正是正在发生的事情。 我们看到了在视觉皮层中,许多神经元仅对以特定角度移动的对象做出反应。 在某些神经元中,当对象以60°的角度移动时会产生尖峰,在另一些90°或120°的角度中移动。 但是树突
对所有角度都无一例外地反应 。 树突状细胞比神经元的身体对世界了解得多。
他们还看到更多。 视觉皮层神经元仅对特定位置的事物做出反应:一个神经元可以对左上角的对象做出反应,而另一个神经元可以对右下角的对象做出响应。 最近,
Sonia Hofer及其同事表明 ,神经元的爆发仅响应出现在一个特定位置的物体而发生,而树突对许多不同的位置做出响应,通常距离神经元的专业化还很远。 因此,神经元仅对接收到的信息的一小部分作出反应,其余信息隐藏在它们的树突中。
为什么这一切都很重要? 这意味着每个神经元都可以从根本上改变其功能,只需更改一些输入即可。 一些输入变得更弱-突然,树枝状晶体的整个分支都保持沉默。 以前很高兴见到猫的神经元,因为该分支喜欢猫,当您的猫跳到工作的计算机的键盘上时,它不再响应-结果,您变得更加镇定,镇定。 几个输入被放大-突然整个分支开始反应:以前没有响应橄榄味道的神经元现在捕获了满口的成熟橄榄后就欢乐地爆发了-根据我的经验,这种神经元只有在20年后才在人类中被激活。 如果简单地对输入进行求和,则新输入将与旧输入争夺神经元的功能。 但是树枝状晶体的每个部分都独立起作用,可以轻松进行新的计算。
这意味着大脑可以进行许多计算。 不可能将神经元简单地视为输入数据和突发发生器的加法器。 但这正是人工神经网络中单位的排列方式。 这表明深度学习和其他AI系统甚至还没有接近真实大脑的计算能力。
大脑皮层中有170亿个神经元。 为了了解他们在做什么,我们经常使用计算机进行类比。 一些论点完全基于这种类比。 其他人则认为这是一种幻想。 通常以人工神经网络为例:它们进行计算并由类似神经元的事物组成,这就是大脑必须进行计算的原因。 但是,如果我们认为大脑是计算机,因为它就像一个神经网络,那么现在我们必须承认单个神经元也是计算机。 所有的170亿都在地壳之中。 也许大脑中的所有860亿。
这意味着大脑皮层不是神经网络。 这是神经网络的神经网络。