Neural Network

한국어

신경망이란
1. 뉴런에 뛰어들다
2. 신경망은 어떻게 임의의 기능을 시뮬레이션합니까?
3. 신경망이 필요한 이유
신경망을 구성하는 방법
1. 완전히 연결된 신경망
2. 그래픽 도구를 사용하여 신경망 설계
3. 출력 레이어의 "활성화 기능"
신경망을 훈련시키는 방법
1. 학습 알고리즘 및 원리
2. 처음부터 신경망 구축 및 훈련
3. PyTorch를 사용하여 코드 다시 작성
4. 그래픽 도구를 사용하여 신경망 훈련
신경망의 몇 가지 중요한 문제
1. 네트워크 구조
2. 과적합
3. 언더피팅
4. 과적합 대 과소적합
5. 초기화
6. 그라디언트 소멸 및 그라디언트 폭발
합성곱 신경망(CNN)
1. 1D 컨볼루션
2. 1D 컨볼루션 실험
3. 1D 풀링
4. 1D-CNN 실험
5. 2D-CNN
6. 2D-CNN 실험
순환 신경망(RNN)
1. 바닐라 RNN
2. Seq2seq, Autoencoder, Encoder-Decoder
3. 고급 RNN
4. RNN 분류 실험
자연어 처리
1. Embedding: 기호를 값으로 변환
2. 텍스트 분류 1
3. 텍스트 분류 2
4. TextCNN
5. 엔티티 인식
6. 단어 분할, 품사 태깅 및 청크
7. 작동 중인 시퀀스 태깅
8. 양방향 RNN
9. BI-LSTM-CRF
10. 주목
언어 모델
1. n-gram 모델: 언어 모델
2. n-gram 모델: 바이그램 모델
3. n-gram 모델: 트라이그램 모델
4. RNN 언어 모델
5. Transformer 언어 모델
선형 대수학
1. 벡터
2. 매트릭스
3. 행렬 곱셈에 대해 자세히 알아보기
4. 텐서

신경망이란

개요

간단히 말해서 신경망은 데이터를 입력하고 결과를 출력하는 기능입니다.

기능

해당 함수 형식을 정의하기 위해 MNIST 필기 숫자 이미지 인식을 예로 들어 보겠습니다.

작업 유형: 이미지 분류
입력: 이미지는 28 x 28=784 픽셀을 포함하며 각 픽셀은 실수로 표시됩니다.
출력: 0-9
작업 설명: 이미지에서 고유 번호 식별
기능 정의

\begin{aligned} y &= f(x_1, x_2, ..., x_{784}) \\ &x_i \in \mathbb R, i = 1, ..., 784 \\ &y \in \{0, 1, ..., 9\} \end{aligned}

이것은 신경망의 엔트리 레벨 애플리케이션입니다. 입력은 784개의 입력 변수가 있는 함수에 해당하는 저해상도(28 x 28) 회색조 이미지입니다. 메가픽셀 컬러 이미지인 경우 해당 입력 변수는 300만 개에 이릅니다.

신경망이 일부 복잡한 문제를 해결하는 데 사용되며 해당 기능도 복잡하다는 것을 알 수 있습니다. 알고리즘의 구현은 해당 기능을 구성하는 것입니다.

그런 복잡한 기능을 구성하는 방법은 무엇입니까? 간단한 기능부터 시작할 수 있습니다. 가장 간단하고 성공적인 예는 디지털 회로입니다.

디지털 회로

디지털 회로는 컴퓨터의 초석이며 거대한 디지털 세계를 구축했습니다. 그러나 핵심은 AND, OR 및 NOT 논리 게이트로 구성됩니다.

논리 게이트 란 무엇입니까? 그것은 실제로 기능입니다. 그리고 그것들은 가장 간단한 기능입니다.

논리 게이트	표현	함수 형태
AND 게이트	$x \land y$	$z = \land(x, y)$
OR 게이트	$x \lor y$	$z = \lor(x, y)$
NOT 게이트	$\lnot x$	$y = \lnot(x)$

변수 유형: 모든 부울 변수, 2개의 값: $\{T, F\}$ , 자연수( $\mathbb N$ ) 및 실수( $\mathbb R$ )보다 훨씬 간단합니다.
변수의 수: 단항 또는 이진 함수, 가장 단순한 형태의 함수
함수 표현: 설명을 위해 진리표를 사용합니다. 이미지를 사용하지 않는 이유는 무엇입니까? 이산 기능이기 때문에 이미지에 약간의 고립된 점이 있는데, 이는 그다지 매력적이지 않습니다.

NOT 게이트

$x$	$\lnot x$
$T$	$F$
$F$	$T$

NOT 게이트 이미지( $F$ 에는 0, $T$ 에는 1 사용)

AND 게이트、OR 게이트

$x$	$y$	$x \land y$	$x \lor y$
$T$	$T$	$T$	$T$
$T$	$F$	$F$	$T$
$F$	$T$	$F$	$T$
$F$	$F$	$F$	$F$

AND 게이트 이미지

OR 게이트 이미지

조합 논리 게이트

더 강력한 기능을 얻으려면 간단한 논리 게이트를 결합하십시오.

새 이진 함수를 구성합니다.

XOR: $x \oplus y = (x \land \lnot y) \lor (\lnot x \land y)$

XNOR: $x \odot y = (x \land y) \lor (\lnot x \land \lnot y)$

다변수 함수를 구성합니다.

3비트 AND 연산: $f(x, y, z) = x \land y \land z$

8비트 가산기: $f(x_1, ..., x_8, y_1, ..., y_8)$ $f (x_{1}, ..., x_{8}, y_{1}, ..., y_{8})$
- 16개의 Boolean 변수를 포함하는 16개 요소의 함수입니다.
32비트 가산기: $f(x*1, ..., x*{32}, y*1, ..., y*{32})$ $f (x * 1, ..., x * 32, y * 1, ..., y * 32)$
- 64개의 Boolean 변수를 포함하는 64개 요소의 함수입니다.
- 32비트 정수의 이진 함수로 간주할 수도 있습니다. $f(x, y) \quad x, y \in \text{Int32}$

요약하다

간단한 논리 게이트 기능을 결합하여 새로운 논리 기능을 구성할 수 있습니다. 32비트 정수의 덧셈, 뺄셈, 곱셈, 나눗셈과 같은 연산과 32비트 단정밀도 부동 소수점 유형 등의 연산을 포함합니다.

프로그래밍 언어

프로그래밍 언어를 다시 살펴보겠습니다. Python을 예로 들어 Python의 요소를 살펴보십시오.

운영자

이름	기호	기능
논리 연산자	and or not	이진 및 단항 논리 함수
산술 연산자	+, -, , /, %, *, //	이진 함수
비교 연산자	==, !=, >, <, >=, <=	이진 함수
...

부동 소수점 숫자 덧셈 연산자(+)를 예로 들면 함수 이미지는 다음과 같습니다.

$f(x, y) = x + y$

기능

Python에서 고유한 함수를 정의할 수 있습니다.

def f(x, y):
    return max(0, 2*x + 3*y - 3)

여기에 새로운 기능이 정의됩니다. "+, -, *, max" 및 기타 기능을 사용하여 새 기능을 구성합니다. 구성 방식도 기능 구성을 통해 이루어집니다.

요약하다

함수는 프로그래밍 언어의 모든 곳에 있습니다. 기본 기능을 결합하여 새로운 기능을 구성하고 새로운 알고리즘을 얻을 수 있습니다.

신경망

신경망도 기능입니다. 디지털 회로 및 프로그래밍 언어와 마찬가지로 간단한 기능으로 구성됩니다. 디지털 회로의 기본 단위는 AND, OR 및 NOT과 같은 논리 함수입니다. 프로그래밍 언어의 기본 단위는 다양한 연산자와 같은 함수이고 신경망의 기본 단위는 뉴런입니다.

뉴런

그렇다면 뉴런이란 무엇인가? 생물학적 뉴런은 입력 수상돌기와 출력 축삭이 있는 세포입니다. 그리고 신경망의 뉴런은 인공 뉴런이기도 하고 기능이기도 합니다. 좀 더 정확히 말하면 일종의 기능입니다.

뉴런의 입력 수는 변경될 수 있습니다. 즉, $n$ -요소 함수 $f(x_1, ..., x_n)$ 를 나타내며 $n$ 은 서로 다를 수 있습니다. 뉴런.

신경망

뉴런은 서로 결합하여 신경망을 형성합니다. 아래 그림과 같이:

신경망에는 세 개의 뉴런이 있습니다(입력 뉴런은 계산하지 않음).

$f_1(x_1, ..., x_n)$
$f_2(x_1, ..., x_n)$
$f_3(x_1, x_2)$

신경망이 나타내는 기능은 다음과 같습니다.

f(x_1, ..., x_n) = f_3(f_1(x_1, ..., x_n), f_2(x_1, ..., x_n))

요약하다

디지털 회로(하드웨어)의 핵심은 기능이며 기본 기능은 AND OR NOT 논리 게이트 기능입니다.
프로그래밍 언어(소프트웨어)의 핵심은 기능이며 기본 기능은 다양한 연산자 기능과 내장 기능(하드웨어 제공 또는 복합)입니다.
신경망의 핵심은 또한 기능이며 기본 기능은 뉴런입니다.
간단한 기능의 조합을 통해 새로운 기능을 구축할 수 있습니다. 신경망은 기능 합성 연산을 통해 뉴런 기능으로 구성된 기능입니다.

질문

뉴런이 나타내는 기능은 정확히 무엇입니까?

$n$ 요소 함수라는 것을 아는 것만으로는 충분하지 않습니다. 디지털 회로의 기본 단위 AND, OR 및 NOT 게이트는 모두 진리표를 나열하고 그림을 그립니다. 그러나 뉴런은 어떻습니까?