Neural Network

Português

O que é rede neural
1. Mergulhe no neurônio
2. Como uma rede neural simula uma função arbitrária
3. Por que precisamos de redes neurais
Como construir uma rede neural
1. Rede neural totalmente conectada
2. Use ferramenta gráfica para projetar rede neural
3. A "função de ativação" da camada de saída
Como treinar uma rede neural
1. Algoritmo e princípio de aprendizagem
2. Crie e treine redes neurais do zero
3. Reescreva o código usando PyTorch
4. Use a ferramenta gráfica para treinar a rede neural
Alguns problemas importantes da rede neural
1. Estrutura de rede
2. Sobreajuste
3. Subajuste
4. Overfitting vs underfitting
5. Inicialização
6. Gradiente desaparecendo e gradiente explosivo
Rede Neural Convolucional (CNN)
1. 1D-convolução
2. Experimentos de convolução 1D
3. 1D-pooling
4. Experimentos 1D-CNN
5. 2D-CNN
6. Experimentos 2D-CNN
Rede Neural Recorrente (RNN)
1. Baunilha RNN
2. Seq2seq, Autoencoder, Encoder-Decoder
3. RNN avançado
4. Experiência de classificação RNN
Processamento de linguagem natural
1. Incorporação: converter símbolos em valores
2. Classificação de texto 1
3. Classificação de Texto 2
4. TextoCNN
5. Reconhecimento de entidade
6. Segmentação de palavras, marcação POS e agrupamento
7. Marcação de sequência em ação
8. RNN bidirecional
9. BI-LSTM-CRF
10. Atenção
Modelos de Linguagem
1. Modelo de n-grama: Unigrama
2. Modelo de n-grama: Bigrama
3. Modelo de n-grama: Trigrama
4. Modelo de Linguagem RNN
5. Modelo de Linguagem Transformer
Álgebra Linear
1. Vetor
2. Matriz
3. Mergulhe na multiplicação de matrizes
4. Tensor

Como uma rede neural simula uma função arbitrária

Visão geral

A razão pela qual a rede neural é poderosa está em sua poderosa capacidade de simulação. Em teoria, ele pode simular funções arbitrárias com erros infinitamente pequenos.

Em outras palavras, podemos usar redes neurais para construir funções arbitrárias e obter algoritmos arbitrários.

Usamos alguns exemplos visuais aqui para ajudá-lo a obter uma compreensão intuitiva.

Simulação de função unária

Linha reta

Este é o caso mais simples, podemos simulá-lo usando um neurônio sem função de ativação.

f(x) = wx + b


 $w$ 1
 $b$ 0

Ajustando os parâmetros $w, b$ , qualquer linha reta pode ser simulada.

Função de passo

Usamos um neurônio com função de ativação sigmoid para simulá-lo.


 $w$ 30
 $b$ 0

À medida que o parâmetro $w$ continua a aumentar, a rede neural se aproximará gradualmente da função.

Função de pulso retangular

Dividimos em várias etapas:

Use um único neurônio para simular a metade esquerda da função.

f_1(x) = \text{sigmoid}(w_1x+b_1)


 $w_1$ 20
 $b_1$ 20

Use um único neurônio para simular a metade direita da função (de cabeça para baixo).

f_2(x) = \text{sigmoid}(w_2x+b_2)


 $w_2$ 20
 $b_2$ -20

Use outro neurônio para sintetizar as imagens das 2 primeiras etapas

f_3(x, y) = \text{sigmoid}(w_{31}x + w_{32}y + b_3)


 $w_{31}$ 10
 $w_{32}$ -10
 $b_3$ -5

O resultado obtido é uma boa aproximação da função objetivo.

Outras funções unárias

Usando a função de impulso retangular, podemos facilmente aproximar outras funções arbitrárias, assim como o princípio da integração.


 $n$ 10

Experimente

Complete a missão Broken Line e observe a função correspondente a cada neurônio.

Simulação de função binária

Avião

Este é o caso mais simples, podemos simulá-lo usando um neurônio sem função de ativação.

f(x, y) = w_1x + w_2y + b


 $w_1$ 0
 $w_2$ 1
 $b$ 0

Ajustando os parâmetros de $w_1, w_2, b$ , qualquer plano pode ser simulado.

Função de etapa binária

Usamos um neurônio com função de ativação sigmoid para simulá-lo.

f(x) = \text{sigmoid}(w_1x + w_2y + b)


 $w_1$ 0
 $w_2$ 30
 $b$ 0

Função de impulso retangular binário

Semelhante ao caso de funções unárias, implementamos passo a passo:

Use um único neurônio para simular uma borda da função

f_1(x, y) = \text{sigmoid}(w_{11}x + w_{12}y + b_1)


 $w_{11}$ 0
 $w_{12}$ 20
 $b_1$ 20

Então podemos obter a seguinte função:


 $w_i$ 10
 $w_j$ -10
 $b_i$ -5

Finalmente, as seguintes funções podem ser sintetizadas


 $w_{51}$ 10
 $w_{52}$ -10
 $w_{53}$ 10
 $w_{54}$ -10
 $b_5$ -15

A estrutura final da rede neural é mostrada na figura abaixo:

Outras funções binárias

Usando a função de impulso retangular binária, podemos facilmente aproximar qualquer outra função binária, assim como o princípio da integração.

Experimente

Complete a missão Circle e observe a função correspondente a cada neurônio.

Simulação de função de n elementos

O princípio é o mesmo, imagine você mesmo! 😥

Pergunta

Já temos circuitos digitais e algoritmos de programas de software, por que precisamos de redes neurais?

Programas de software construídos em circuitos digitais também podem simular funções arbitrárias, então por que inventar redes neurais artificiais?