Neural Network

Deutsch

Was ist ein neuronales Netzwerk?
1. Tauchen Sie ein in das Neuron
2. Wie simuliert ein neuronales Netz eine beliebige Funktion
3. Warum brauchen wir neuronale Netze
Wie baut man ein neuronales Netz auf?
1. Vollständig verbundenes neuronales Netzwerk
2. Verwenden Sie ein grafisches Tool, um ein neuronales Netzwerk zu entwerfen
3. Die "Aktivierungsfunktion" der Ausgabeschicht
So trainieren Sie ein neuronales Netz
1. Lernalgorithmus und -prinzip
2. Erstellen und trainieren Sie neuronale Netze von Grund auf neu
3. Schreiben Sie den Code mit PyTorch um
4. Verwenden Sie ein grafisches Tool, um das neuronale Netzwerk zu trainieren
Einige wichtige Probleme des neuronalen Netzes
1. Netzwerkstruktur
2. Überanpassung
3. Unteranpassung
4. Überanpassung vs. Unteranpassung
5. Initialisierung
6. Verschwindender Gradient und explodierender Gradient
Convolutional Neural Network (CNN)
1. 1D-Faltung
2. 1D-Faltungsexperimente
3. 1D-Pooling
4. 1D-CNN-Experimente
5. 2D-CNN
6. 2D-CNN Experimente
Rekurrentes neuronales Netz (RNN)
1. Vanille RNN
2. Seq2seq, Autoencoder, Encoder-Decoder
3. Erweiterte RNN
4. RNN-Klassifikationsexperiment
Verarbeitung natürlicher Sprache
1. Embedding: Symbole in Werte umwandeln
2. Textkategorisierung 1
3. Textkategorisierung 2
4. TextCNN
5. Entitätserkennung
6. Wortsegmentierung, Wortart-Tagging und Chunking
7. Sequenz-Tagging in Aktion
8. Bidirektionales RNN
9. BI-LSTM-CRF
10. Beachtung
Sprachmodelle
1. n-gram-Modelle: Unigram
2. n-gram-Modelle: Bigram
3. n-gram-Modelle: Trigram
4. RNN-Sprachmodelle
5. Transformer-Sprachmodelle
Lineare Algebra
1. Vektor
2. Matrix
3. Eintauchen in die Matrixmultiplikation
4. Tensor

Wie simuliert ein neuronales Netz eine beliebige Funktion

Überblick

Der Grund für die Leistungsfähigkeit des neuronalen Netzes liegt in seiner leistungsstarken Simulationsfähigkeit. Theoretisch kann es beliebige Funktionen mit unendlich kleinen Fehlern simulieren.

Mit anderen Worten, wir können neuronale Netze verwenden, um beliebige Funktionen zu konstruieren und beliebige Algorithmen zu erhalten.

Wir verwenden hier einige visuelle Beispiele, um Ihnen ein intuitives Verständnis zu vermitteln.

Simulation einer unären Funktion

Gerade Linie

Dies ist der einfachste Fall, wir können ihn simulieren, indem wir ein Neuron ohne Aktivierungsfunktion verwenden.

f(x) = wx + b


 $w$ 1
 $b$ 0

Durch Anpassen der Parameter $w, b$ kann jede gerade Linie simuliert werden.

Stufenfunktion

Wir verwenden ein Neuron mit der Aktivierungsfunktion sigmoid, um es zu simulieren.


 $w$ 30
 $b$ 0

Wenn der Parameter $w$ weiter ansteigt, nähert sich das neuronale Netzwerk allmählich der Funktion.

Rechteckige Pulsfunktion

Wir unterteilen es in mehrere Schritte:

Verwenden Sie ein einzelnes Neuron, um die linke Hälfte der Funktion zu simulieren.

f_1(x) = \text{sigmoid}(w_1x+b_1)


 $w_1$ 20
 $b_1$ 20

Verwenden Sie ein einzelnes Neuron, um die rechte Hälfte der Funktion (auf dem Kopf) zu simulieren.

f_2(x) = \text{sigmoid}(w_2x+b_2)


 $w_2$ 20
 $b_2$ -20

Verwenden Sie ein anderes Neuron, um die Bilder der ersten 2 Schritte zu synthetisieren

f_3(x, y) = \text{sigmoid}(w_{31}x + w_{32}y + b_3)


 $w_{31}$ 10
 $w_{32}$ -10
 $b_3$ -5

Das erhaltene Ergebnis ist eine gute Näherung der Zielfunktion.

Andere unäre Funktionen

Mit der Rechteckimpulsfunktion können wir andere beliebige Funktionen leicht annähern, genau wie das Integrationsprinzip.


 $n$ 10

Experiment

Schließe die Mission Broken Line ab und beobachte die Funktion jedes Neurons.

Simulation der Binärfunktion

Ebene

Dies ist der einfachste Fall, wir können ihn simulieren, indem wir ein Neuron ohne Aktivierungsfunktion verwenden.

f(x, y) = w_1x + w_2y + b


 $w_1$ 0
 $w_2$ 1
 $b$ 0

Durch Anpassen der Parameter von $w_1, w_2, b$ kann jede beliebige Ebene simuliert werden.

Binäre Schrittfunktion

Wir verwenden ein Neuron mit der Aktivierungsfunktion sigmoid, um es zu simulieren.

f(x) = \text{sigmoid}(w_1x + w_2y + b)


 $w_1$ 0
 $w_2$ 30
 $b$ 0

Binäre Rechteckimpulsfunktion

Ähnlich wie bei unären Funktionen implementieren wir es Schritt für Schritt:

Verwenden Sie ein einzelnes Neuron, um eine Kante der Funktion zu simulieren

f_1(x, y) = \text{sigmoid}(w_{11}x + w_{12}y + b_1)


 $w_{11}$ 0
 $w_{12}$ 20
 $b_1$ 20

Dann erhalten wir die folgende Funktion:


 $w_i$ 10
 $w_j$ -10
 $b_i$ -5

Schließlich können die folgenden Funktionen synthetisiert werden


 $w_{51}$ 10
 $w_{52}$ -10
 $w_{53}$ 10
 $w_{54}$ -10
 $b_5$ -15

Die endgültige Struktur des neuronalen Netzes ist in der folgenden Abbildung dargestellt:

Andere binäre Funktionen

Mit der binären Rechteckimpulsfunktion können wir jede andere binäre Funktion leicht annähern, genau wie das Integrationsprinzip.

Experiment

Schließe die Mission Circle ab und beobachte die Funktion jedes Neurons.

Simulation der n-Element-Funktion

Das Prinzip ist das gleiche, stellen Sie sich selbst vor! 😥

Frage

Wir haben bereits digitale Schaltungen und Softwareprogrammalgorithmen, warum brauchen wir neuronale Netze?

Softwareprogramme, die auf digitalen Schaltkreisen basieren, können auch beliebige Funktionen simulieren, warum also künstliche neuronale Netze erfinden?