Neural Network

Español

¿Qué es la red neuronal?
1. Sumérgete en la neurona
2. ¿Cómo simula una red neuronal una función arbitraria?
3. ¿Por qué necesitamos redes neuronales?
Cómo construir una red neuronal
1. Red neuronal completamente conectada
2. Utilice una herramienta gráfica para diseñar una red neuronal
3. La "función de activación" de la capa de salida
Cómo entrenar una red neuronal
1. Principio y algoritmo de aprendizaje
2. Construya y entrene redes neuronales desde cero
3. Reescribe el código usando PyTorch
4. Utilice una herramienta gráfica para entrenar la red neuronal
Algunos problemas importantes de la red neuronal
1. Estructura de red
2. Sobreajuste
3. Desajuste
4. Sobreajuste vs desajuste
5. Inicialización
6. Gradiente de desaparición y gradiente explosivo
Red neuronal convolucional (CNN)
1. Convolución 1D
2. Experimentos de convolución 1D
3. agrupación 1D
4. Experimentos 1D-CNN
5. 2D-CNN
6. Experimentos 2D-CNN
Red neuronal recurrente (RNN)
1. Vanilla RNN
2. Seq2seq, Autoencoder, Encoder-Decoder
3. RNN avanzado
4. Experimento de clasificación RNN
Procesamiento natural del lenguaje
1. Embedding: convierte símbolos en valores
2. Clasificación de texto 1
3. Clasificación de texto 2
4. TextCNN
5. Reconocimiento de entidad
6. Segmentación de palabras, etiquetado y fragmentación de parte del discurso
7. Etiquetado de secuencia en acción
8. RNN bidireccional
9. BI-LSTM-CRF
10. Atención
Modelos de lenguaje
1. Modelo n-grama: Unigrama
2. Modelo n-grama: Bigrama
3. Modelo n-grama: Trigrama
4. Modelo de lenguaje RNN
5. Modelo de lenguaje Transformer
Álgebra lineal
1. Vector
2. Matriz
3. Sumérgete en la multiplicación de matrices
4. Tensor

¿Cómo simula una red neuronal una función arbitraria?

Visión general

La razón por la que la red neuronal es poderosa radica en su poderosa capacidad de simulación. En teoría, puede simular funciones arbitrarias con errores infinitamente pequeños.

En otras palabras, podemos usar redes neuronales para construir funciones arbitrarias y obtener algoritmos arbitrarios.

Usamos algunos ejemplos visuales aquí para ayudarlo a obtener una comprensión intuitiva.

Simulación de función unaria

Línea recta

Este es el caso más simple, podemos simularlo usando una neurona sin función de activación.

f(x) = wx + b


 $w$ 1
 $b$ 0

Ajustando los parámetros $w, b$ , se puede simular cualquier línea recta.

Función de paso

Usamos una neurona con función de activación sigmoid para simularla.


 $w$ 30
 $b$ 0

A medida que el parámetro $w$ continúa aumentando, la red neuronal se acercará gradualmente a la función.

Función de pulso rectangular

Lo dividimos en varios pasos:

Utilice una sola neurona para simular la mitad izquierda de la función.

f_1(x) = \text{sigmoid}(w_1x+b_1)


 $w_1$ 20
 $b_1$ 20

Utilice una sola neurona para simular la mitad derecha de la función (al revés).

f_2(x) = \text{sigmoid}(w_2x+b_2)


 $w_2$ 20
 $b_2$ -20

Usa otra neurona para sintetizar las imágenes de los 2 primeros pasos

f_3(x, y) = \text{sigmoid}(w_{31}x + w_{32}y + b_3)


 $w_{31}$ 10
 $w_{32}$ -10
 $b_3$ -5

El resultado obtenido es una buena aproximación de la función objetivo.

Otras funciones unarias

Usando la función de impulso rectangular, podemos aproximar fácilmente otras funciones arbitrarias, al igual que el principio de integración.


 $n$ 10

Experimento

Completa la misión Broken Line y observa la función correspondiente a cada neurona.

Simulación de función binaria

Plano

Este es el caso más simple, podemos simularlo usando una neurona sin función de activación.

f(x, y) = w_1x + w_2y + b


 $w_1$ 0
 $w_2$ 1
 $b$ 0

Ajustando los parámetros de $w_1, w_2, b$ , se puede simular cualquier avión.

Función de paso binario

Usamos una neurona con función de activación sigmoid para simularla.

f(x) = \text{sigmoid}(w_1x + w_2y + b)


 $w_1$ 0
 $w_2$ 30
 $b$ 0

Función de impulso rectangular binaria

Al igual que en el caso de las funciones unarias, lo implementamos paso a paso:

Use una sola neurona para simular un borde de la función

f_1(x, y) = \text{sigmoid}(w_{11}x + w_{12}y + b_1)


 $w_{11}$ 0
 $w_{12}$ 20
 $b_1$ 20

Entonces podemos obtener la siguiente función:


 $w_i$ 10
 $w_j$ -10
 $b_i$ -5

Finalmente, se pueden sintetizar las siguientes funciones


 $w_{51}$ 10
 $w_{52}$ -10
 $w_{53}$ 10
 $w_{54}$ -10
 $b_5$ -15

La estructura final de la red neuronal se muestra en la siguiente figura:

Otras funciones binarias

Usando la función de impulso rectangular binaria, podemos aproximarnos fácilmente a cualquier otra función binaria, al igual que el principio de integración.

Experimento

Completa la misión Circle y observa la función correspondiente a cada neurona.

Simulación de la función de n elementos

El principio es el mismo, ¡imagínese usted mismo! 😥

Pregunta

Ya tenemos circuitos digitales y algoritmos de programas de software, ¿por qué necesitamos redes neuronales?

Los programas de software construidos en circuitos digitales también pueden simular funciones arbitrarias, entonces, ¿por qué inventar redes neuronales artificiales?