💐 ♀️ 👎 Algunos algoritmos bajo el capó del cerebro 🌉 ⛹🏿 🐱

Hace algún tiempo quería estudiar materiales modernos sobre neurobiología desde el punto de vista de un programador. Es decir, extraer los algoritmos básicos de ellos, habiéndolos limpiado de detalles químicos / biológicos innecesarios.

Entonces, si alguien ama las redes neuronales artificiales y quiere buscar inspiración en lo natural, este artículo puede aparecer. Por supuesto, no fue posible cubrir todo en un artículo, hay muchos datos.

Primero, una breve descripción del trabajo de la bio-neurona, para que quede más claro. Quien ya conoce lo básico: siéntase libre de omitir.

Neurona biológica: bagre, dendritas, sinapsis, espiga, EPSP, potencial de membrana

: ( ), , . , , . . — . . . .

, , . , . “ ” ,“” “U”. , . . U.

, . , U . — . . , , . , , . “+” EPSP (). “-” IPSP ().

. EPSP- IPSP- , , , . , .

, , , . , . , . , , . . , EPSP , .

. , . “ ” . , . , , (. ).

— . — . EPSP — “”. , , , . EPSP ( ) , , .. , .

STDP

Se supone que la base de la memoria a largo plazo es cómo se distribuye la eficiencia sobre las sinapsis de las neuronas. Algunas sinapsis se debilitan, otras se fortalecen. Esto se llama ductilidad. Pero, ¿con qué algoritmo se decide qué sinapsis y cómo cambiarán los pesos? El principio más famoso en las redes neuronales vivas es la plasticidad dependiente del tiempo de Spike .

Se observa desde los insectos hasta los humanos y se formula de la siguiente manera:

Si el pico de entrada a esta sinapsis tiende a aparecer justo antes de que la neurona misma genere el pico, entonces la sinapsis se amplifica.
Si el pico de entrada a esta sinapsis tiende a ocurrir inmediatamente después de la generación del pico por la neurona misma, entonces la sinapsis se debilita.

Esos insumos que han contribuido al aumento tienen mayor prioridad en el futuro y no se aportan menos. El proceso continúa hasta que quede un cierto subconjunto de los pesos originales, y el resto se reducirá a cero. Tendremos en cuenta el hecho de que una neurona genera un pico cuando muchas de sus entradas se activan inmediatamente en un corto período de tiempo . De esto se puede suponer que las entradas restantes que no son cero tenían correlaciones en el tiempo.

_{Dependencia del aumento / disminución del peso de la sinapsis en el pico de entrada (pre) y salida (post) de miel de Δt}

Este fenómeno es muy conocido y confirmado en muchos experimentos, pero debe tenerse en cuenta que al pasar por diferentes protocolos experimentales, aún se puede lograr la distorsión / violación de esta ley, no rompiendo los requisitos formales para los picos pre-post [0].

Propagación de espiga trasera

La neurona piramidal (quizás el tipo más famoso de neuronas corticales) tiene miles de sinapsis esparcidas por su árbol dendrítico (de hecho, tiene dos árboles dendríticos). Si seleccionamos varias sinapsis, cerca del bagre, lejos y bastante lejos de él, y vemos qué tipo de gráficos STDP obtienen, entonces los gráficos serán diferentes.

Para las sinapsis cercanas al bagre, el horario se verá clásico, como una variación sobre el tema del entrenamiento de Hebb. Es decir, como en la imagen de arriba. Cuanto más lejos esté el bagre, menor será la amplitud de este entrenamiento. Y si tomas sinapsis distantes, entonces puedes ver cosas muy extrañas. Por ejemplo, si el pico de entrada (que llegó a la sinapsis) precedió a la salida, entonces el experimento no observó amplificación, sino atenuación de esta sinapsis. Entrenamiento antihebbovskoe, Karl! Sin embargo, era posible devolverlo al canal de Hebb si se generaban adherencias dendríticas en dendritas distantes. En general, con el entrenamiento de las sinapsis más cercanas al bagre, todo está bastante claro, pero en los distantes parece que hay un algoritmo de aprendizaje diferente en el ~~desorden~~ [1] .

Veamos de dónde vienen las patas de todo esto. Entonces, para la iteración de STDP, es necesario que se genere un pico en el bagre. Después de esto, las sinapsis deberían descubrirlo rápidamente . Para hacer esto, es deseable que la espiga se extienda desde la loma del axón. La buena noticia es que esto realmente está sucediendo. Una neurona envía un pico no solo a otras neuronas, sino también a sus dendritas. La "mala" noticia es que con la propagación hacia atrás este pico se desvanece. Demasiado rápido para alcanzar dendritas distantes. Ahora está claro por qué la formación de sinapsis cercanas y lejanas es diferente. Queda por descubrir qué está sucediendo en las sinapsis distantes.

Es importante recordar aquí que las dendritas no son conductores pasivos de perturbaciones. Ellos mismos saben cómo generar picos cuando "lo consideran necesario". Si por alguna razón la dendrita generó una espiga, y al mismo tiempo una espiga decaída del bagre entró en esta zona, entonces, habiéndose formado con la espiga dendrítica, (tal vez) recibirá una ~~patada~~ como un segundo viento y puede extenderse más en este subárbol. Al menos existe tal hipótesis. Otra hipótesis es que quizás las sinapsis en dendritas distantes se entrenan generalmente sin el uso de una comisura somática de propagación hacia atrás. Más sobre esto a continuación.

Efectos interesantes en las dendritas: los picos dendríticos son suficientes para la plasticidad

Entonces, ¿qué necesitas para que la sinapsis comience a aumentar de peso? Es necesario que en este lugar de la neurona se encienda la maquinaria química correspondiente. Para esto, a su vez, es necesario que el potencial en la membrana en este lugar sea desplazado por alguna perturbación suficientemente grande . ¿Cómo se puede crear? El EPSP promedio habitual es demasiado pequeño para esto. Pero la cantidad de EPSP y la comisura somática de propagación inversa ya pueden ser adecuadas. Durante algún tiempo se creyó que esta es la principal forma de causar plasticidad.

Luego, en los experimentos, resultó que era posible suprimir artificialmente las adherencias somáticas en una neurona y aún así registrar un aumento en el peso de sus sinapsis en respuesta a su estimulación (no ninguna). Resultó que la plasticidad ocurre cuando la estimulación de las sinapsis es lo suficientemente fuerte como para que aparezcan comisuras dendríticas en este lugar. Son una indignación lo suficientemente fuerte como para desencadenar la plasticidad en este lugar. [2] Sí, sí, sin la participación del resto de la neurona. Es decir, el "elemento mínimo" del procesamiento de la información puede considerarse ni siquiera una neurona, sino una rama dendrítica separada.

Efectos interesantes en las dendritas - agrupamiento

En las neuronas del hipocampo, se descubrió que el LTP (aumento de peso a largo plazo) de una sinapsis reduce el umbral para que se produzca LTP en las sinapsis vecinas. Luego, se realizó un estudio para las neuronas de la corteza sensorial del ratón, en el que las neuronas procesaron los datos de los bigotes. Y se descubrió que la plasticidad sináptica tiende a agruparse.

Se tomó una neurona específica y se seleccionó el 15% de las sinapsis, que fueron sometidas más intensamente a la plasticidad. Su distribución por neurona no fue accidental: una parte significativa resultó ser vecina: 50 de 161. Luego se tomó una neurona de la corteza sensorial del ratón, de la cual se cortó el bigote (es decir, la neurona sufría de falta de información). El efecto de agrupamiento estaba ausente en dicha neurona. Pero fue globalmente más sensible a las señales de entrada [3] .

Efectos interesantes en las dendritas: todo cambia desde la reorganización de los términos

Entonces, deje que dos EPSP lleguen a nuestra dendrita, como en la imagen de arriba. La perturbación que causan en el soma depende no solo de la magnitud de estos EPSP, sino también de:

1) su distancia del soma
2) su distancia el uno del otro

. Si EPSP vino de la sinapsis a la dendrita, entonces se propagará al bagre y se descompondrá en el camino. Es decir, cuanto más lejos esté, más se desvanecerá. Y si una sinapsis inhibitoria activada se interpone en su camino, entonces EPSP se extinguirá inmediatamente. Por lo tanto, si tuviéramos dos EPSP bastante distantes entre sí, entonces traerán dos pequeñas perturbaciones al soma, y luego, si tiene suerte.

Pero si estuvieran uno al lado del otro, entonces la dendrita puede generar un pico en este lugar. Esta es una perturbación en la que la amplitud es mayor que solo la suma de los EPSP. El pico dendrítico ya es mucho más probable que corra hacia el bagre, y la contribución será mayor. [4] .

Enlace características de sincronización

(la sincronización codifica la relación, el enlace de características)

De los párrafos anteriores se deduce que la sincronización relativa de los picos es importante para los procesos de plasticidad en las sinapsis. Y a la luz de esto, no se puede evitar el fenómeno de la sincronización temporal de las neuronas. Este fenómeno es omnipresente y, aparentemente, muy fundamental, porque comer en todos los niveles del cerebro. Considere un ejemplo específico.

Se implantan electrodos en la corteza visual, y luego se le muestran varios estímulos visuales. En los registros de los electrodos se ve que algunos grupos de neuronas están involucrados en la actividad oscilatoria sincrónica en fase. Estas neuronas pueden estar en diferentes lugares. Las neuronas tienden a sincronizarse si se activaron por contornos en la imagen, que son continuos o se mueven a la misma velocidad y en una dirección (el principio del destino común). Para la corteza visual, la probabilidad de sincronización se correlaciona con cuánto satisfacen los estímulos de entrada el criterio Gestalt .

_{Todos los puntos verdes aquí se perciben no por separado, sino como un todo}

La hipótesis de trabajo sugiere que la corteza utiliza la sincronización de descarga en las neuronas para codificar la relación "completa" acerca de esas porciones de señal a las que respondieron estas neuronas. Es decir Además, sus respuestas serán procesadas en su conjunto por redes neuronales superiores, porque son precisamente estos picos los que llegarán allí al mismo tiempo, lo que significa que resumiré antes de que se desvanezcan.

La sincronización de la actividad en la corteza a grandes distancias es un requisito previo para que la señal que provocó que esta actividad (por ejemplo, una palabra se vea) tenga acceso a la zona de percepción consciente. Una señal similar, que se procesa inconscientemente, solo causará sincronización local [5] .

Cómo se sincronizan las poblaciones de neuronas es el tema de investigación [6] .

Plasticidad no sináptica

Además de los pesos de sinapsis, otras características de la neurona también pueden sufrir cambios durante el entrenamiento. Su excitabilidad general puede cambiar (leer, el umbral para la generación de picos). Si se han fortalecido muchos pesos, entonces tiene sentido que una neurona reduzca su excitabilidad. Y si, por el contrario, un bajo nivel de cambio en las escalas, entonces tiene sentido aumentar.

Otro ejemplo: un axón puede cambiar el tiempo durante el cual se disparará a los destinatarios. Aún así, si estimula una neurona a baja frecuencia durante mucho tiempo, reduce su excitabilidad, y este es un efecto a largo plazo.

Repetición

En el hipocampo, hay neuronas que responden a un lugar específico en el espacio. Se llaman las celdas del lugar . Es decir, si la rata está en un lugar del laberinto, entonces una celda del lugar reacciona al máximo, si en otra es otra. Cuando la rata está durmiendo o descansando, en el hipocampo esas secuencias de células del lugar que corresponden a las distancias realmente recorridas antes de que estas rutas comiencen a jugar a un ritmo acelerado. Para las células restantes esto no se observa, es decir, estas secuencias no son aleatorias.

En la imagen: la rata sigue una pista recta, y la jaula "azul" del lugar se activa primero, luego "rojo" y luego "verde". Luego recibe refuerzo y comienza la reproducción acelerada de esta secuencia en el orden inverso "azul rojo verde".
Además, el hipocampo puede jugar en lugares futuros antes de que la rata los visite (preplay).

No menos interesante: el proceso de reproducción en un sueño también afecta la corteza cerebral. Es decir, tanto en la corteza como en el hipocampo, se replica y está conectado con la misma experiencia experimentada durante la vigilia anterior [7] . Existe la hipótesis de que el hipocampo es un módulo para la memorización rápida, y la corteza es para el aprendizaje lento y profundo. Quizás el hipocampo recuerda los episodios de eventos en el orden en que se siguen, y luego los "pierde" en la corteza una y otra vez a un ritmo acelerado para que extraiga patrones ocultos de estas secuencias. Entonces está claro por qué un paciente con un hipocampo remoto pierde la capacidad de crear nuevos recuerdos a largo plazo, pero no pierde los que se hicieron antes de la operación.

LTP-L (finales de fase LTP )

La longevidad de los cambios en los pesos de las sinapsis depende no solo del estímulo inicial que los causó, sino también de los eventos que ocurren antes y después . Los experimentos muestran que la memoria a corto plazo de un estímulo puede consolidarse en una más larga si el animal experimenta un evento fuerte dentro de una ventana de tiempo determinada alrededor de este estímulo. Esto se registra a nivel de neuronas individuales. Deje que algún protocolo de estimulación logre causar una mejora de la sinapsis a corto plazo. Se puede hacer a largo plazo si un estímulo fuerte (tetánicamente) estimula algún otro camino que converja en la misma neurona (dentro de la ventana de tiempo correcta, por supuesto).

Inhibición lateral

(inhibición lateral, inhibición envolvente, supresión envolvente)

Este principio simple es conocido por los científicos desde tiempos de cueva. Tal vez viste ilusiones como esta:

en los albores de la neurociencia, se creía que una neurona estaba buscando un estímulo en su campo receptivo, y si el estímulo deseado se encontraba allí, entonces la neurona generaba picos intensivos. Si no se encontró del todo, pero parece, también genera picos, pero no tan intensamente. Y luego resultó que la actividad de una neurona puede ser suprimida por actividades externas a su campo receptivo .

Además de la red excitadora (también es la principal), hay una más en el cerebro: una red de interneuronas inhibidoras. Las neuronas "principales" proporcionan excitación en la red, y las interneuronas, como regla, lo inhiben. Las interneuronas tienen un área de acción local. Hay más neuronas principales que interneuronas, pero las interneuronas son más diversas. Específicamente, la ilusión visual mencionada supuestamente se toma debido a la interacción de las neuronas excitadoras con las inhibidoras. La lógica del proceso es la siguiente: cuanto más se activa la neurona, más inhibe (con la ayuda de interneuronas) la actividad en el vecindario. Las neuronas excitadoras compiten entre sí por el derecho de hacer la mayor contribución a la señal para la siguiente capa de neuronas. Si estuvieras muy activado, entonces reducirás considerablemente la velocidad de los vecinos. Si los vecinos se activaron débilmente, entonces lo retrasarán un poco.Como resultado, todas las no linealidades en los datos de entrada se "mantendrán" aún más fuertes, y la siguiente capa ya funcionará con esto.

Una ilustración muy clara del principio.

- . , , .

Detectores de errores de predicción [8]

Las neuronas de dopamina aprenden a unir algún tipo de "claves" en la señal de entrada para recibir una recompensa. Utilizan el siguiente algoritmo:

(1) Si se produce una recompensa impredecible, las neuronas responden aumentando la frecuencia de los picos ( tenemos un error positivo ).
(2) Después del entrenamiento, ya reaccionan al “evento clave” y no al premio en sí. Es decir sobre el predecesor de la recompensa emiten un aumento en la frecuencia. Y para la recompensa, si llega a tiempo, no hay reacción ( no tenemos ningún error ).
(3) Si una neurona entrenada predijo una recompensa, pero no sucedió, responde disminuyendo la frecuencia de los picos ( tenemos un error negativo )

Se cree que no solo hay formación asociativa, sino el establecimiento de una relación "causa-efecto". Es decir, por ejemplo, las nubes de tormenta se correlacionan con la lluvia, porque a menudo sucede: ves nubes y luego ves lluvia. Lo mismo sucede con un paraguas: ves paraguas en las personas y luego ves lluvia. Pero si al menos una vez que comenzó la lluvia sin paraguas, ya está claro que los paraguas no son la causa de la lluvia.

Bonificación para aquellos que leen: la aparición de un reflejo condicionado en una neurona específica

, - . : , ( ) , . , . .

, — . , , . “ ”. . , , -. . ( ) :

1) 100 000 ( )
2) ( - inferior olive)

( , ), — . , , , :

, (), (). — , — (ISI) (CS) (US) , .

, , . , . . , , - .[9].
, (supervised learning), , (unsupervised learning), — (reinforcement).

Conclusión

A primera vista, el mismo STDP puede parecer un algoritmo de aprendizaje completo para redes de neuronas espigadas. Pero en realidad, actualmente no hay modelos de espiga artificial de aprendizaje efectivo. Es decir, pueden hacer algo, por ejemplo, dar el 95% en el punto de referencia MNIST , pero las tareas más no triviales en ellos no son muy buenas.

Se ha avanzado mucho más en los últimos años en redes donde los picos están ausentes como clase. Los algoritmos de entrenamiento se basan en el descenso del gradiente sobre la superficie del error, donde el error es una función de los pesos de sinapsis. El trabajo con el aspecto del tiempo se logra mediante retroalimentaciones en la topología. La atención y el refuerzo se están introduciendo con éxito en estas redes. En este contexto, los modelos de espiga todavía se ven "pobres".

¿Qué conclusión es esa? Es difícil decirlo con certeza. Tal vez los avances en las redes de picos todavía nos esperan: no es por nada que el cerebro consiste en neuronas de pico. Y quizás los modelos actuales de picos simplemente no tienen el poder de procesamiento de nuestro hardware para "mostrarse". Finalmente, quizás los picos son una característica de bajo nivel de bio-hierro, además de lo cual el cerebro implementa el mismo descenso de gradiente por error en alguna forma. Sin embargo, esto no está incluido en la hipótesis de trabajo actual de la neurobiología debido a la falta de fundamento.

Algunos algoritmos bajo el capó del cerebro