Как нейронная сеть имитирует произвольную функцию

Обзор

Причина, по которой нейронная сеть является мощной, заключается в ее мощных способностях моделирования. Теоретически он может моделировать произвольные функции с бесконечно малыми ошибками.

Другими словами, мы можем использовать нейронные сети для построения произвольных функций и получения произвольных алгоритмов.

Здесь мы используем несколько наглядных примеров, чтобы помочь вам получить некоторое интуитивное понимание.

Моделирование унарной функции

Прямая линия

Это простейший случай, мы можем смоделировать его, используя нейрон без функции активации.

$$f(x) = wx + b$$

$w$1
$b$0

Регулируя параметры $w, b$, можно моделировать любую прямую линию.

Пошаговая функция

Мы используем нейрон с функцией активации sigmoid, чтобы имитировать его.

$w$30
$b$0

По мере того как параметр $w$ продолжает увеличиваться, нейронная сеть будет постепенно приближаться к функции.

Функция прямоугольного импульса

Разделим его на несколько этапов:

1. Используйте один нейрон, чтобы смоделировать левую половину функции.

$$f_1(x) = \text{sigmoid}(w_1x+b_1)$$

$w_1$20
$b_1$20

2. Используйте отдельные нейроны, чтобы смоделировать правую половину функции (вверх ногами).

$$f_2(x) = \text{sigmoid}(w_2x+b_2)$$

$w_2$20
$b_2$-20

3. Используйте другой нейрон, чтобы синтезировать изображения первых двух шагов.

$$f_3(x, y) = \text{sigmoid}(w_{31}x + w_{32}y + b_3)$$

$w_{31}$10
$w_{32}$-10
$b_3$-5

Полученный результат является хорошей аппроксимацией целевой функции.

Другие унарные функции

Используя прямоугольную импульсную функцию, мы можем легко аппроксимировать другие произвольные функции, как и принцип интегрирования.

$n$10

Эксперимент

Завершите миссию Broken Line и наблюдайте за функцией, соответствующей каждому нейрону.

Моделирование бинарной функции

Самолет

Это простейший случай, мы можем смоделировать его, используя нейрон без функции активации.

$$f(x, y) = w_1x + w_2y + b$$

$w_1$0
$w_2$1
$b$0

Регулируя параметры $w_1, w_2, b$, можно моделировать любую плоскость.

Функция двоичного шага

Мы используем нейрон с функцией активации sigmoid, чтобы имитировать его.

$$f(x) = \text{sigmoid}(w_1x + w_2y + b)$$

$w_1$0
$w_2$30
$b$0

Двоичная прямоугольная импульсная функция

Как и в случае с унарными функциями, мы реализуем его поэтапно:

1. Используйте один нейрон, чтобы смоделировать край функции.

$$f_1(x, y) = \text{sigmoid}(w_{11}x + w_{12}y + b_1)$$

$w_{11}$0
$w_{12}$20
$b_1$20

2. Тогда мы можем получить следующую функцию:

$w_i$10
$w_j$-10
$b_i$-5

3. Наконец, можно синтезировать следующие функции.

$w_{51}$10
$w_{52}$-10
$w_{53}$10
$w_{54}$-10
$b_5$-15

Окончательная структура нейронной сети показана на рисунке ниже:

Другие бинарные функции

Используя двоичную прямоугольную импульсную функцию, мы можем легко аппроксимировать любую другую двоичную функцию, как и принцип интегрирования.

Эксперимент

Завершите миссию Круг и наблюдайте за функцией, соответствующей каждому нейрону.

Моделирование n-элементной функции

Принцип тот же, представьте сами! 😥

Вопрос

У нас уже есть цифровые схемы и программные алгоритмы, зачем нам нейронные сети?

Программы, построенные на цифровых схемах, также могут моделировать произвольные функции, так зачем изобретать искусственные нейронные сети?