Plongez dans le neurone

Aperçu

De la section précédente (Qu'est-ce qu'un réseau de neurones), nous avons appris qu'un réseau de neurones est une fonction, qui est composée de neurones, et que le neurone est également une fonction.

Neuron peut continuer à être scindé en 2 sous-fonctions:

• Fonction linéaire de l'élément $n$: $g(x_1, ..., x_n)$
• fonction non linéaire unaire: $h(x)$

La fonction représentée par le neurone est:

$$f(x_1, ..., x_n) = h(g(x_1, ..., x_n))$$

Fonction linéaire $g(x_1, ..., x_n)$

La fonction linéaire a la forme suivante:

$$g(x_1, ..., x_n) = w_1x_1 + ..., w_nx_n + b$$

Parmi eux, $w_1, ..., w_n, b$ sont tous des paramètres, et différentes fonctions linéaires ont des paramètres différents.

Fonction linéaire unaire

Lorsque $n = 1$, $g(x_1) = w_1x_1 + b$, l'image de la fonction est une ligne droite:

$w_1$1
$b$0

Fonction linéaire binaire

Lorsque $n = 2$, $g(x_1, x_2) = w_1x_1 + w_2x_2 + b$, l'image de la fonction est un plan:

$w_1$0
$w_2$1
$b$0

Fonction linéaire de l'élément $n$

Lorsque $n > 2$, l'image de la fonction est un hyperplan. Au-delà de la 3D, la visualisation n'est pas pratique. Mais vous pouvez imaginer que sa caractéristique est droite.

Fonction non linéaire $h(x)$

Il est facile de comprendre à partir du nom qu'une fonction non linéaire est une fonction différente d'une fonction linéaire. Une fonction linéaire est droite et une fonction non linéaire est courbe. Comme la fonction sigmoid la plus courante:

Fonction d'activation

Dans les réseaux de neurones, nous appelons cette fonction non linéaire unaire fonction d'activation. Pour certaines fonctions d'activation courantes, veuillez vous référer à fonction d'activation dans la base de connaissances, où:

• Linéaire: $f(x) = x$ est une fonction linéaire, ce qui signifie qu'une fonction non linéaire n'est pas utilisée
• Softmax est un cas particulier. Il ne s'agit pas à proprement parler d'une fonction d'activation

Nécessité

Pourquoi une fonction d'activation non linéaire devrait-elle être suivie d'une fonction linéaire?

Ceci est dû au fait:

1. Si les neurones sont tous des fonctions linéaires, alors le réseau neuronal composé de neurones est également une fonction linéaire.

Comme l'exemple suivant:

• $f_1(x, y) = w_1x + w_2y + b_1$
• $f_2(x, y) = w_3x + w_4y + b_2$
• $f_3(x, y) = w_5x + w_6y + b_3$

Alors la fonction représentée par l'ensemble du réseau de neurones est:

$$\begin{aligned} &f_3(f_1(x_1, x_2, x_3), f_2(x_1, x_2, x_3)) \\ = &w_5(w_1x_1 + w_2x_2 + b_1) + w_6(w_3x_2 + w_4x_3 + b_2) + b_3 \\ = &(w_1w_5)x_1 + (w_2w_5 + w_3w_6)x_2 + (w_4w_6)x_3 + (w_5b_1 + w_6b_2 + b_3) \\ \end{aligned}$$

Il s'agit d'une fonction linéaire ternaire.

2. La fonction objectif que nous devons construire contient diverses fonctions, et la fonction linéaire n'est que l'une d'entre elles.

Nous espérons que les réseaux de neurones pourront simuler des fonctions arbitraires, pas seulement des fonctions linéaires. Nous avons donc ajouté une fonction d'activation non linéaire et "plié" la fonction linéaire.

Neurone complet

Le neurone complet combine une fonction linéaire et une fonction d'activation non linéaire, ce qui le rend plus intéressant et puissant.

Fonction unaire

Lorsque $n = 1$, $g(x_1) = w_1x_1 + b$, en utilisant la fonction d'activation sigmoid, la fonction correspondante du neurone est:

$$h(g(x))=\text{sigmoid}(wx + b)$$

L'image de la fonction est:

$w$1
$b$0

Fonction binaire

Lorsque $n = 2$, $g(x_1, x_2) = w_1x_1 + w_2x_2 + b$, en utilisant la fonction d'activation sigmoid, la fonction correspondante du neurone est:

$$h(g(x))=\text{sigmoid}(w_1x_1 + w_2x_2 + b)$$

L'image de la fonction est:

$w_1$0
$w_2$1
$b$0

Fonction d'élément $n$

En raison du problème de visualisation, cela dépend entièrement de ma propre imagination ici! ??

Question

Pourquoi le réseau de neurones peut simuler des fonctions complexes à partir d'une combinaison de neurones ?

Vous pouvez intuitivement imaginer comment simuler une fonction légèrement plus compliquée grâce à de simples neurones.