Tauchen Sie ein in das Neuron

Überblick

Aus dem vorherigen Abschnitt (Was ist ein neuronales Netzwerk) haben wir gelernt, dass ein neuronales Netzwerk eine Funktion ist, die aus Neuronen besteht, und ein Neuron ist auch eine Funktion.

Neuron lässt sich weiterhin in 2 Unterfunktionen aufteilen:

• $n$ Element lineare Funktion: $g(x_1, ..., x_n)$
• unäre nichtlineare Funktion: $h(x)$

Die durch das Neuron repräsentierte Funktion ist:

$$f(x_1, ..., x_n) = h(g(x_1, ..., x_n))$$

Lineare Funktion $g(x_1, ..., x_n)$

Die lineare Funktion hat folgende Form:

$$g(x_1, ..., x_n) = w_1x_1 + ..., w_nx_n + b$$

Darunter sind $w_1, ..., w_n, b$ alle Parameter, und verschiedene lineare Funktionen haben unterschiedliche Parameter.

Unäre lineare Funktion

Bei $n = 1$, $g(x_1) = w_1x_1 + b$ ist das Funktionsbild eine gerade Linie:

$w_1$1
$b$0

Binäre lineare Funktion

Bei $n = 2$, $g(x_1, x_2) = w_1x_1 + w_2x_2 + b$ ist das Funktionsbild eine Ebene:

$w_1$0
$w_2$1
$b$0

$n$ Element lineare Funktion

Bei $n > 2$ ist das Funktionsbild eine Hyperebene. Jenseits von 3D ist die Visualisierung nicht bequem. Aber Sie können sich vorstellen, dass seine Charakteristik gerade ist.

Nichtlineare Funktion $h(x)$

Aus dem Namen ist leicht zu verstehen, dass eine nichtlineare Funktion eine von einer linearen Funktion verschiedene Funktion ist. Eine lineare Funktion ist gerade und eine nichtlineare Funktion ist gekrümmt. Wie die gebräuchlichste sigmoid-Funktion:

Aktivierungsfunktion

In neuronalen Netzen nennen wir diese unäre nichtlineare Funktion Aktivierungsfunktion. Einige allgemeine Aktivierungsfunktionen finden Sie unter Aktivierungsfunktion in der Wissensdatenbank, wo:

• Linear: $f(x) = x$ ist eine lineare Funktion, was bedeutet, dass keine nichtlineare Funktion verwendet wird
• Softmax ist ein Sonderfall. Streng genommen handelt es sich nicht um eine Aktivierungsfunktion

Notwendigkeit

Warum sollte auf eine nichtlineare Aktivierungsfunktion eine lineare Funktion folgen?

Das ist weil:

1. Wenn Neuronen alle lineare Funktionen sind, dann ist auch das aus Neuronen bestehende neuronale Netz eine lineare Funktion.

Wie das folgende Beispiel:

• $f_1(x, y) = w_1x + w_2y + b_1$
• $f_2(x, y) = w_3x + w_4y + b_2$
• $f_3(x, y) = w_5x + w_6y + b_3$

Dann ist die durch das gesamte neuronale Netz repräsentierte Funktion:

$$\begin{aligned} &f_3(f_1(x_1, x_2, x_3), f_2(x_1, x_2, x_3)) \\ = &w_5(w_1x_1 + w_2x_2 + b_1) + w_6(w_3x_2 + w_4x_3 + b_2) + b_3 \\ = &(w_1w_5)x_1 + (w_2w_5 + w_3w_6)x_2 + (w_4w_6)x_3 + (w_5b_1 + w_6b_2 + b_3) \\ \end{aligned}$$

Dies ist eine ternäre lineare Funktion.

2. Die zu konstruierende Zielfunktion enthält verschiedene Funktionen, und die lineare Funktion ist nur eine davon.

Wir hoffen, dass neuronale Netze beliebige Funktionen simulieren können, nicht nur lineare Funktionen. Also haben wir eine nichtlineare Aktivierungsfunktion hinzugefügt und die lineare Funktion "gebogen".

Komplettes Neuron

Das komplette Neuron kombiniert eine lineare Funktion und eine nichtlineare Aktivierungsfunktion, was es interessanter und leistungsfähiger macht.

Unäre Funktion

Wenn $n = 1$, $g(x_1) = w_1x_1 + b$ unter Verwendung der sigmoid-Aktivierungsfunktion ist die entsprechende Funktion des Neurons:

$$h(g(x))=\text{sigmoid}(wx + b)$$

Das Funktionsbild ist:

$w$1
$b$0

Binäre Funktion

Wenn $n = 2$, $g(x_1, x_2) = w_1x_1 + w_2x_2 + b$, unter Verwendung der sigmoid-Aktivierungsfunktion ist die entsprechende Funktion des Neurons:

$$h(g(x))=\text{sigmoid}(w_1x_1 + w_2x_2 + b)$$

Das Funktionsbild ist:

$w_1$0
$w_2$1
$b$0

$n$-Elementfunktion

Aufgrund des Visualisierungsproblems ist es hier ganz meiner eigenen Vorstellung überlassen! 😥

Frage

Warum kann das neuronale Netz komplexe Funktionen aus einer Kombination von Neuronen simulieren?

Sie können sich intuitiv vorstellen, wie Sie durch einfache Neuronen eine etwas kompliziertere Funktion simulieren.