Neural Network

Português

O que é rede neural
1. Mergulhe no neurônio
2. Como uma rede neural simula uma função arbitrária
3. Por que precisamos de redes neurais
Como construir uma rede neural
1. Rede neural totalmente conectada
2. Use ferramenta gráfica para projetar rede neural
3. A "função de ativação" da camada de saída
Como treinar uma rede neural
1. Algoritmo e princípio de aprendizagem
2. Crie e treine redes neurais do zero
3. Reescreva o código usando PyTorch
4. Use a ferramenta gráfica para treinar a rede neural
Alguns problemas importantes da rede neural
1. Estrutura de rede
2. Sobreajuste
3. Subajuste
4. Overfitting vs underfitting
5. Inicialização
6. Gradiente desaparecendo e gradiente explosivo
Rede Neural Convolucional (CNN)
1. 1D-convolução
2. Experimentos de convolução 1D
3. 1D-pooling
4. Experimentos 1D-CNN
5. 2D-CNN
6. Experimentos 2D-CNN
Rede Neural Recorrente (RNN)
1. Baunilha RNN
2. Seq2seq, Autoencoder, Encoder-Decoder
3. RNN avançado
4. Experiência de classificação RNN
Processamento de linguagem natural
1. Incorporação: converter símbolos em valores
2. Classificação de texto 1
3. Classificação de Texto 2
4. TextoCNN
5. Reconhecimento de entidade
6. Segmentação de palavras, marcação POS e agrupamento
7. Marcação de sequência em ação
8. RNN bidirecional
9. BI-LSTM-CRF
10. Atenção
Modelos de Linguagem
1. Modelo de n-grama: Unigrama
2. Modelo de n-grama: Bigrama
3. Modelo de n-grama: Trigrama
4. Modelo de Linguagem RNN
5. Modelo de Linguagem Transformer
Álgebra Linear
1. Vetor
2. Matriz
3. Mergulhe na multiplicação de matrizes
4. Tensor

Estrutura de rede

Visão geral

No campo do aprendizado profundo, muitas vezes vemos notícias sobre o ranking de um determinado modelo. Um grande avanço em uma tarefa de algoritmo de rede neural depende primeiro do conjunto de dados e depois da estrutura do modelo.

O avanço no campo da imagem, o dataset ImageNet é indispensável, essa é a importância do dataset, pois ele registra as informações da função objetivo. Mas aprendemos na seção anterior que o conjunto de dados é falho, ele não pode registrar completamente as informações da função objetivo e parte dele será perdido. A qualidade do conjunto de dados está em sua taxa de retenção de informações da função objetivo.

A tarefa da fase de treinamento é usar as informações no conjunto de dados (função de conjunto de dados $d(\mathbf x)$ ) para restaurar a função objetivo $o(\mathbf x)$ . Devido a várias restrições, obteremos apenas uma função $f(\mathbf x)$ que se aproxime da função objetivo.

Um bom modelo possui uma forma funcional correspondente mais próxima da função objetivo, que pode compensar melhor os defeitos do conjunto de dados e obter melhores resultados.

Exibição visual

2 pontos

Para citar o exemplo da seção anterior, o conjunto de dados tem 2 pontos e a taxa de retenção de informações desse conjunto de dados é muito baixa.


Conjunto de dados

Faça suposições diferentes sobre sua forma funcional:


Formulário de linha reta


 $w$ 3
Forma parabólica

Ajustando os parâmetros de $w$ , podemos obter inúmeras parábolas, e todas elas podem simular perfeitamente a função do conjunto de dados $d(\mathbf x)$

Existem muitas outras formas funcionais, e a própria forma funcional é infinita. Outras formas de função também podem simular perfeitamente a função de conjunto de dados $d(\mathbf x)$

3 pontos


Formulário de linha reta


 $w$ 3
Forma parabólica

5 pontos


Formulário de linha reta


 $w$ 25
Forma parabólica

Com o aumento dos pontos de dados, a forma funcional está se aproximando de uma linha reta, mas ainda existem infinitas possibilidades.

Resumo

A informação na forma da função objetivo não pode ser obtida a partir dos dados, e existem infinitas possibilidades.

Projete a estrutura da rede neural

As informações no conjunto de dados são insuficientes. Precisamos obter informações adicionais de outros lugares e usá-las para orientar o projeto estrutural da rede neural para compensar a falta de informações.

Estrutura especial

Em várias tarefas de aprendizado profundo, bons modelos usam estruturas altamente especializadas. Curti:

Tarefa de imagem: CNN bidimensional
Tarefas de texto: Incorporação, CNN unidimensional, RNN, CRF, Transformador, etc.

Muitas estruturas especializadas são projetadas com referência ao processo de processamento de uma determinada função objetivo. Por exemplo, a CNN simula a estrutura organizacional do nervo óptico. Embora a forma específica da função objetivo seja desconhecida, muitas vezes as pessoas podem obter algumas de suas informações e obter melhores resultados simulando o processo de processamento da função objetivo.

Projeto estrutural

A estrutura da rede neural é o esqueleto do algoritmo, que determina diretamente o potencial final do algoritmo. Se o esqueleto não for bem desenhado, não importa como você o treine, só será insatisfatório no final.


 $w$ 1
 $b$ 2
Inappropriate structure


 $a$ 1
 $b$ 0
 $c$ 0
Appropriate structure

A estrutura de uma rede neural não pode ser obtida por meio de treinamento e geralmente requer design artificial.

Há também pesquisas de arquitetura por meio de algoritmos, ou seja, experimentar uma variedade de arquiteturas diferentes e escolher a melhor de acordo com o efeito final do treinamento, o que exige uma grande quantidade de poder computacional e só é adequado para um número muito pequeno de instituições com fortes recursos financeiros.

Para projetar artificialmente uma boa estrutura de rede neural, precisamos:

Ter uma certa compreensão ou conjectura razoável da função objetivo correspondente à tarefa;
Familiarizado com a estrutura comum da rede neural, e compreender o seu princípio;
Use essas estruturas para montar uma estrutura semelhante à função objetivo.

Resumo

O conjunto de dados não pode fornecer informações suficientes e a estrutura da rede neural precisa compensar a falta de informações
A informação da estrutura da rede neural vem do entendimento e simulação do processo de processamento da função objetivo

Estrutura de rede

Visão geral

Exibição visual

2 pontos

3 pontos

5 pontos

Resumo

Projete a estrutura da rede neural

Estrutura especial

Projeto estrutural

Resumo

problema

Redes neurais podem simular funções arbitrárias, então por que precisamos projetar sua estrutura?