ネットワーク構造

概要

ディープラーニングの分野では、特定のモデルのランキングに関するニュースをよく目にします。ニューラルネットワークアルゴリズムタスクの主なブレークスルーは、最初にデータセットに依存し、次にモデル構造に依存します。

画像分野の飛躍的進歩である ImageNet データセットは不可欠です。これは、目的関数の情報を記録するため、データセットの重要性です。 しかし、前のセクションから、データセットに欠陥があり、目的関数の情報を完全に記録することができず、その一部が失われることがわかりました。データセットの品質は、目的関数情報の保持率にあります。

トレーニングフェーズのタスクは、データセット（データセット関数 $d(\mathbf x)$）の情報を使用して、目的関数 $o(\mathbf x)$を復元することです。さまざまな制限により、目的関数を近似する関数 $f(\mathbf x)$のみを取得します。

優れたモデルは、目的関数に近い対応する関数形式を持っています。これにより、データセットの欠陥をより適切に補正し、より適切な結果を得ることができます。

ビジュアルディスプレイ

2 ポイント

前のセクションの例を引用すると、データセットには 2 つのポイントがあり、このデータセットの情報保持率は非常に低くなっています。

その関数形式についてさまざまな仮定をします。

$w$3

$w$のパラメータを調整することで、無数の放物線を取得でき、それらすべてがデータセット関数 $d(\mathbf x)$を完全にシミュレートできます。

他にも多くの機能形式があり、機能形式自体は無限大です。他の関数形式でも、データセット関数 $d(\mathbf x)$を完全にシミュレートできます。

3 ポイント

$w$3

5 ポイント

$w$25

データポイントの増加に伴い、関数形式は直線に近づいていますが、それでも無限の可能性があります。

要約

目的関数の形での情報はデータから取得できず、無限の可能性があります。

ニューラルネットワークの構造を設計する

データセット内の情報が不十分です。他の場所から追加情報を取得し、それを使用してニューラルネットワークの構造設計をガイドし、情報の不足を補う必要があります。

特別な構造

さまざまな深層学習タスクでは、優れたモデルは高度に特殊化された構造を使用します。お気に入り：

• 画像タスク:2 次元 CNN
• テキストタスク:Embedding、1 次元 CNN、RNN、CRF、Transformer など。

多くの特殊な構造は、特定の目的関数の処理プロセスを参照して設計されています。たとえば、CNN は視神経の組織構造をシミュレートします。 目的関数の具体的な形式は不明ですが、目的関数の処理プロセスをシミュレートすることで、多くの場合、その情報の一部を取得し、より良い結果を得ることができます。

構造設計

ニューラルネットワークの構造はアルゴリズムの骨格であり、アルゴリズムの究極の可能性を直接決定します。スケルトンがうまく設計されていないと、どのようにトレーニングしても、最終的には不十分になります。

$w$1
$b$2

$a$1
$b$0
$c$0

ニューラルネットワークの構造は、トレーニングでは取得できず、通常は人工的な設計が必要です。

アルゴリズムによるアーキテクチャ検索もあります。つまり、さまざまな異なるアーキテクチャを試し、最終的なトレーニング効果に応じて最適なアーキテクチャを選択します。これは、膨大な計算能力を必要とし、ごく少数の機関にのみ適しています。強力な財源を持っています。

優れたニューラルネットワーク構造を人為的に設計するには、次のものが必要です。

1. タスクに対応する目的関数について一定の理解または合理的な推測をします。
2. ニューラルネットワークの一般的な構造に精通し、その原理を理解している。
3. これらの構造を使用して、目的関数と同様の構造に組み立てます。

要約する

1. データセットは十分な情報を提供できず、ニューラルネットワークの構造は情報の不足を補う必要があります
2. ニューラルネットワーク構造の情報は、目的関数の処理プロセスの理解とシミュレーションから得られます

問題

ニューラルネットワークは任意の関数をシミュレートできるのに、なぜその構造を設計する必要があるのでしょうか。