Sumérgete en la neurona

Visión general

De la sección anterior (¿Qué es la red neuronal), aprendimos que una red neuronal es una función, que se compone de neuronas, y la neurona también es una función.

Neuron se puede seguir dividiendo en 2 subfunciones:

• Función lineal del elemento $n$: $g(x_1, ..., x_n)$
• función unaria no lineal: $h(x)$

La función representada por la neurona es:

$$f(x_1, ..., x_n) = h(g(x_1, ..., x_n))$$

Función lineal $g(x_1, ..., x_n)$

La función lineal tiene la siguiente forma:

$$g(x_1, ..., x_n) = w_1x_1 + ..., w_nx_n + b$$

Entre ellos, $w_1, ..., w_n, b$ son todos parámetros, y diferentes funciones lineales tienen diferentes parámetros.

Función lineal unaria

Cuando $n = 1$, $g(x_1) = w_1x_1 + b$, la imagen de la función es una línea recta:

$w_1$1
$b$0

Función lineal binaria

Cuando $n = 2$, $g(x_1, x_2) = w_1x_1 + w_2x_2 + b$, la imagen de la función es un plano:

$w_1$0
$w_2$1
$b$0

Función lineal del elemento $n$

Cuando $n > 2$, la imagen de la función es un hiperplano. Más allá de 3D, la visualización no es conveniente. Pero puedes imaginar que su característica es recta.

Función no lineal $h(x)$

Es fácil de entender por el nombre que una función no lineal es una función diferente de una función lineal. Una función lineal es recta y una función no lineal es curva. Como la función sigmoid más común:

Función de activación

En las redes neuronales, llamamos a esta función unaria no lineal función de activación. Para conocer algunas funciones de activación comunes, consulte función de activación en la base de conocimientos, donde:

• Linear: $f(x) = x$ es una función lineal, lo que significa que no se utiliza una función no lineal
• Softmax es un caso especial. Estrictamente hablando, no es una función de activación.

Necesidad

¿Por qué una función de activación no lineal debe ir seguida de una función lineal?

Esto es porque:

1. Si las neuronas son todas funciones lineales, entonces la red neuronal compuesta por neuronas también es una función lineal.

Como el siguiente ejemplo:

• $f_1(x, y) = w_1x + w_2y + b_1$
• $f_2(x, y) = w_3x + w_4y + b_2$
• $f_3(x, y) = w_5x + w_6y + b_3$

Entonces la función representada por toda la red neuronal es:

$$\begin{aligned} &f_3(f_1(x_1, x_2, x_3), f_2(x_1, x_2, x_3)) \\ = &w_5(w_1x_1 + w_2x_2 + b_1) + w_6(w_3x_2 + w_4x_3 + b_2) + b_3 \\ = &(w_1w_5)x_1 + (w_2w_5 + w_3w_6)x_2 + (w_4w_6)x_3 + (w_5b_1 + w_6b_2 + b_3) \\ \end{aligned}$$

Esta es una función lineal ternaria.

2. La función objetivo que necesitamos construir contiene varias funciones, y la función lineal es solo una de ellas.

Esperamos que las redes neuronales puedan simular funciones arbitrarias, no solo funciones lineales. Así que agregamos una función de activación no lineal y "doblamos" la función lineal.

Neurona completa

La neurona completa combina una función lineal y una función de activación no lineal, lo que la hace más interesante y poderosa.

Función unaria

Cuando $n = 1$, $g(x_1) = w_1x_1 + b$, usando la función de activación sigmoid, la función correspondiente de la neurona es:

$$h(g(x))=\text{sigmoid}(wx + b)$$

La imagen de la función es:

$w$1
$b$0

Función binaria

Cuando $n = 2$, $g(x_1, x_2) = w_1x_1 + w_2x_2 + b$, usando la función de activación sigmoid, la función correspondiente de la neurona es:

$$h(g(x))=\text{sigmoid}(w_1x_1 + w_2x_2 + b)$$

La imagen de la función es:

$w_1$0
$w_2$1
$b$0

función $n$-elemento

Debido al problema de visualización, ¡depende completamente de mi propia imaginación aquí! 😥

Pregunta

¿Por qué la red neuronal puede simular funciones complejas a partir de una combinación de neuronas?

Puede imaginar intuitivamente cómo simular una función un poco más complicada a través de neuronas simples.