Neural Network

한국어

신경망이란
1. 뉴런에 뛰어들다
2. 신경망은 어떻게 임의의 기능을 시뮬레이션합니까?
3. 신경망이 필요한 이유
신경망을 구성하는 방법
1. 완전히 연결된 신경망
2. 그래픽 도구를 사용하여 신경망 설계
3. 출력 레이어의 "활성화 기능"
신경망을 훈련시키는 방법
1. 학습 알고리즘 및 원리
2. 처음부터 신경망 구축 및 훈련
3. PyTorch를 사용하여 코드 다시 작성
4. 그래픽 도구를 사용하여 신경망 훈련
신경망의 몇 가지 중요한 문제
1. 네트워크 구조
2. 과적합
3. 언더피팅
4. 과적합 대 과소적합
5. 초기화
6. 그라디언트 소멸 및 그라디언트 폭발
합성곱 신경망(CNN)
1. 1D 컨볼루션
2. 1D 컨볼루션 실험
3. 1D 풀링
4. 1D-CNN 실험
5. 2D-CNN
6. 2D-CNN 실험
순환 신경망(RNN)
1. 바닐라 RNN
2. Seq2seq, Autoencoder, Encoder-Decoder
3. 고급 RNN
4. RNN 분류 실험
자연어 처리
1. Embedding: 기호를 값으로 변환
2. 텍스트 분류 1
3. 텍스트 분류 2
4. TextCNN
5. 엔티티 인식
6. 단어 분할, 품사 태깅 및 청크
7. 작동 중인 시퀀스 태깅
8. 양방향 RNN
9. BI-LSTM-CRF
10. 주목
언어 모델
1. n-gram 모델: 언어 모델
2. n-gram 모델: 바이그램 모델
3. n-gram 모델: 트라이그램 모델
4. RNN 언어 모델
5. Transformer 언어 모델
선형 대수학
1. 벡터
2. 매트릭스
3. 행렬 곱셈에 대해 자세히 알아보기
4. 텐서

신경망은 어떻게 임의의 기능을 시뮬레이션합니까?

개요

신경망이 강력한 이유는 강력한 시뮬레이션 능력에 있습니다. 이론적으로 무한히 작은 오류로 임의의 기능을 시뮬레이션할 수 있습니다.

즉, 신경망을 사용하여 임의의 기능을 구성하고 임의의 알고리즘을 얻을 수 있습니다.

직관적인 이해를 돕기 위해 여기에 몇 가지 시각적 예를 사용합니다.

이것은 가장 간단한 경우이며 활성화 기능이 없는 뉴런을 사용하여 시뮬레이션할 수 있습니다.

f(x) = wx + b


 $w$ 1
 $b$ 0

$w, b$ 매개변수를 조정하여 모든 직선을 시뮬레이션할 수 있습니다.

sigmoid 활성화 함수가 있는 뉴런을 사용하여 시뮬레이션합니다.


 $w$ 30
 $b$ 0

$w$ 매개변수가 계속 증가함에 따라 신경망은 점차 함수에 접근합니다.

우리는 그것을 여러 단계로 나눕니다.

f_1(x) = \text{sigmoid}(w_1x+b_1)


 $w_1$ 20
 $b_1$ 20

f_2(x) = \text{sigmoid}(w_2x+b_2)


 $w_2$ 20
 $b_2$ -20

f_3(x, y) = \text{sigmoid}(w_{31}x + w_{32}y + b_3)


 $w_{31}$ 10
 $w_{32}$ -10
 $b_3$ -5

얻어진 결과는 목적 함수의 좋은 근사치입니다.

직사각형 임펄스 함수를 사용하면 적분의 원리와 마찬가지로 다른 임의의 함수를 쉽게 근사할 수 있습니다.


 $n$ 10

Broken Line 미션을 완료하고 각 뉴런에 해당하는 기능을 관찰하십시오.

이것은 가장 간단한 경우이며 활성화 기능이 없는 뉴런을 사용하여 시뮬레이션할 수 있습니다.

f(x, y) = w_1x + w_2y + b


 $w_1$ 0
 $w_2$ 1
 $b$ 0

$w_1, w_2, b$ 의 매개변수를 조정하여 모든 평면을 시뮬레이션할 수 있습니다.

sigmoid 활성화 함수가 있는 뉴런을 사용하여 시뮬레이션합니다.

f(x) = \text{sigmoid}(w_1x + w_2y + b)


 $w_1$ 0
 $w_2$ 30
 $b$ 0

단항 함수의 경우와 유사하게 단계별로 구현합니다.

f_1(x, y) = \text{sigmoid}(w_{11}x + w_{12}y + b_1)


 $w_{11}$ 0
 $w_{12}$ 20
 $b_1$ 20


 $w_i$ 10
 $w_j$ -10
 $b_i$ -5


 $w_{51}$ 10
 $w_{52}$ -10
 $w_{53}$ 10
 $w_{54}$ -10
 $b_5$ -15

최종 신경망 구조는 아래 그림과 같습니다.

이진 직사각형 임펄스 함수를 사용하면 적분 원리와 마찬가지로 다른 이진 함수를 쉽게 근사할 수 있습니다.

Circle 미션을 완료하고 각 뉴런에 해당하는 기능을 관찰합니다.

원리는 동일합니다. 스스로 상상해보십시오! 😥

디지털 회로에 구축된 소프트웨어 프로그램은 임의의 기능을 시뮬레이션할 수도 있습니다. 그렇다면 인공 신경망을 발명해야 하는 이유는 무엇입니까?