Structure du réseau

Aperçu

Dans le domaine de l'apprentissage en profondeur, nous voyons souvent des informations sur le classement d'un certain modèle. Une percée majeure dans une tâche d'algorithme de réseau neuronal dépend d'abord de l'ensemble de données et ensuite de la structure du modèle.

La percée dans le domaine de l'image, le jeu de données ImageNet est indispensable, c'est l'importance du jeu de données, car il enregistre les informations de la fonction objectif. Mais nous avons appris de la section précédente que l'ensemble de données est défectueux, qu'il ne peut pas enregistrer complètement les informations de la fonction objectif et qu'une partie sera perdue. La qualité de l'ensemble de données réside dans son taux de rétention des informations sur les fonctions objectives.

La tâche de la phase d'apprentissage est d'utiliser les informations contenues dans l'ensemble de données (fonction de l'ensemble de données $d(\mathbf x)$) pour restaurer la fonction objectif $o(\mathbf x)$. En raison de diverses restrictions, nous n'obtiendrons qu'une fonction $f(\mathbf x)$ qui se rapproche de la fonction objectif.

Un bon modèle a une forme fonctionnelle correspondante plus proche de la fonction objectif, ce qui permet de mieux compenser les défauts de l'ensemble de données et d'obtenir de meilleurs résultats.

Affichage visuel

2 points

Pour citer l'exemple de la section précédente, l'ensemble de données a 2 points, et le taux de rétention des informations de cet ensemble de données est très faible.

Faire différentes hypothèses sur sa forme fonctionnelle:

$w$3

En ajustant les paramètres de $w$, nous pouvons obtenir d'innombrables paraboles, et toutes peuvent parfaitement simuler la fonction de jeu de données $d(\mathbf x)$

Il existe de nombreuses autres formes fonctionnelles, et la forme fonctionnelle elle-même est infinie. D'autres formes de fonctions peuvent également parfaitement simuler la fonction de jeu de données $d(\mathbf x)$

3 points

$w$3

5 points

$w$25

Avec l'augmentation des points de données, la forme fonctionnelle se rapproche d'une ligne droite, mais les possibilités sont encore infinies.

Résumer

L'information sous forme de fonction objectif ne peut pas être obtenue à partir des données, et les possibilités sont infinies.

Concevoir la structure du réseau de neurones

Les informations contenues dans l'ensemble de données sont insuffisantes. Nous devons obtenir des informations supplémentaires d'autres endroits et les utiliser pour guider la conception structurelle du réseau de neurones afin de compenser le manque d'informations.

Structure spéciale

Dans diverses tâches d'apprentissage en profondeur, les bons modèles utilisent des structures hautement spécialisées. Comme:

• Tâche d'image: CNN bidimensionnel
• Tâches de texte: Embedding, CNN unidimensionnel, RNN, CRF, Transformer, etc.

De nombreuses structures spécialisées sont conçues en référence au processus de traitement d'une certaine fonction objective. Par exemple, CNN simule la structure organisationnelle du nerf optique. Bien que la forme spécifique de la fonction objectif soit inconnue, les gens peuvent souvent obtenir certaines de ses informations et obtenir de meilleurs résultats en simulant le processus de traitement de la fonction objectif.

Design structurel

La structure du réseau de neurones est le squelette de l'algorithme, qui détermine directement le potentiel ultime de l'algorithme. Si le squelette n'est pas bien conçu, peu importe comment vous l'entraînez, il ne sera finalement pas satisfaisant.

$w$1
$b$2

$a$1
$b$0
$c$0

La structure d'un réseau de neurones ne peut pas être obtenue par la formation et nécessite généralement une conception artificielle.

Il existe également des recherches d'architecture par le biais d'algorithmes, c'est-à-dire d'essayer une variété d'architectures différentes et de choisir la meilleure en fonction de l'effet d'entraînement final, ce qui nécessite une énorme puissance de calcul et ne convient qu'à un très petit nombre d'institutions. avec de solides ressources financières.

Pour concevoir artificiellement une bonne structure de réseau de neurones, nous avons besoin de:

1. Avoir une certaine compréhension ou une conjecture raisonnable de la fonction objectif correspondant à la tâche;
2. Familiarisez-vous avec la structure commune du réseau de neurones et comprenez son principe;
3. Utilisez ces structures pour vous assembler en une structure similaire à la fonction objectif.

Résumer

1. L'ensemble de données ne peut pas fournir suffisamment d'informations et la structure du réseau de neurones doit compenser le manque d'informations
2. Les informations de la structure du réseau de neurones proviennent de la compréhension et de la simulation du processus de traitement de la fonction objectif

problème

Les réseaux de neurones peuvent simuler des fonctions arbitraires, alors pourquoi devons-nous concevoir sa structure?