Neural Network

한국어

신경망이란
1. 뉴런에 뛰어들다
2. 신경망은 어떻게 임의의 기능을 시뮬레이션합니까?
3. 신경망이 필요한 이유
신경망을 구성하는 방법
1. 완전히 연결된 신경망
2. 그래픽 도구를 사용하여 신경망 설계
3. 출력 레이어의 "활성화 기능"
신경망을 훈련시키는 방법
1. 학습 알고리즘 및 원리
2. 처음부터 신경망 구축 및 훈련
3. PyTorch를 사용하여 코드 다시 작성
4. 그래픽 도구를 사용하여 신경망 훈련
신경망의 몇 가지 중요한 문제
1. 네트워크 구조
2. 과적합
3. 언더피팅
4. 과적합 대 과소적합
5. 초기화
6. 그라디언트 소멸 및 그라디언트 폭발
합성곱 신경망(CNN)
1. 1D 컨볼루션
2. 1D 컨볼루션 실험
3. 1D 풀링
4. 1D-CNN 실험
5. 2D-CNN
6. 2D-CNN 실험
순환 신경망(RNN)
1. 바닐라 RNN
2. Seq2seq, Autoencoder, Encoder-Decoder
3. 고급 RNN
4. RNN 분류 실험
자연어 처리
1. Embedding: 기호를 값으로 변환
2. 텍스트 분류 1
3. 텍스트 분류 2
4. TextCNN
5. 엔티티 인식
6. 단어 분할, 품사 태깅 및 청크
7. 작동 중인 시퀀스 태깅
8. 양방향 RNN
9. BI-LSTM-CRF
10. 주목
언어 모델
1. n-gram 모델: 언어 모델
2. n-gram 모델: 바이그램 모델
3. n-gram 모델: 트라이그램 모델
4. RNN 언어 모델
5. Transformer 언어 모델
선형 대수학
1. 벡터
2. 매트릭스
3. 행렬 곱셈에 대해 자세히 알아보기
4. 텐서

네트워크 구조

개요

딥러닝 분야에서 우리는 특정 모델의 순위에 대한 뉴스를 종종 봅니다. 신경망 알고리즘 작업의 주요 혁신은 먼저 데이터 세트에, 두 번째로 모델 구조에 따라 달라집니다.

이미지 분야의 돌파구인 ImageNet 데이터셋은 필수 불가결하며, 목적함수의 정보를 기록하기 때문에 데이터셋의 중요성입니다. 그러나 이전 섹션에서 데이터 세트에 결함이 있고 목적 함수의 정보를 완전히 기록할 수 없으며 일부가 손실된다는 것을 배웠습니다. 데이터 세트의 품질은 목적 함수 정보의 보유율에 있습니다.

훈련 단계의 작업은 데이터셋(데이터셋 함수 $d(\mathbf x)$ )의 정보를 사용하여 목적 함수 $o(\mathbf x)$ 를 복원하는 것입니다. 다양한 제한으로 인해 목적 함수를 근사하는 함수 $f(\mathbf x)$ 만 얻을 수 있습니다.

좋은 모델은 목적 함수에 더 가까운 해당 기능 형태를 가지므로 데이터 세트의 결함을 더 잘 보완하고 더 나은 결과를 얻을 수 있습니다.

비주얼 디스플레이

2점

앞 절의 예를 인용하자면, 데이터셋은 2개의 포인트를 가지고 있고 이 데이터셋의 정보 보유율은 매우 낮다.


데이터 세트

기능적 형태에 대해 다른 가정을 합니다.


직선 형태


 $w$ 3
포물선 형태

$w$ 의 매개변수를 조정하여 수많은 포물선을 얻을 수 있으며 모두 데이터 세트 함수 $d(\mathbf x)$ 를 완벽하게 시뮬레이션할 수 있습니다.

다른 많은 기능적 형태가 있으며 기능적 형태 자체는 무한합니다. 다른 함수 형식도 데이터세트 함수 $d(\mathbf x)$ 를 완벽하게 시뮬레이션할 수 있습니다.

3점


직선 형태


 $w$ 3
포물선 형태

5점


직선 형태


 $w$ 25
포물선 형태

데이터 포인트의 증가와 함께 기능적 형태는 직선에 가까워지고 있지만 여전히 무한한 가능성이 있습니다.

요약하다

목적 함수 형태의 정보는 데이터에서 얻을 수 없으며 무한한 가능성이 있습니다.

신경망의 구조 설계

데이터세트의 정보가 충분하지 않습니다. 우리는 다른 곳에서 추가 정보를 얻어 정보 부족을 보충하기 위해 신경망의 구조 설계를 안내하는 데 사용해야 합니다.

특수 구조

다양한 딥 러닝 작업에서 좋은 모델은 고도로 전문화된 구조를 사용합니다. 처럼:

이미지 작업: 2차원 CNN
텍스트 작업: 임베딩, 1차원 CNN, RNN, CRF, Transformer 등

많은 특수 구조는 특정 목적 함수의 처리 과정을 참조하여 설계됩니다. 예를 들어 CNN은 시신경의 조직 구조를 시뮬레이션합니다. 목적 함수의 구체적인 형태는 알려져 있지 않지만 사람들은 종종 목적 함수의 처리 과정을 시뮬레이션하여 정보의 일부를 얻고 더 나은 결과를 얻을 수 있습니다.

구조 설계

신경망의 구조는 알고리즘의 골격이며 알고리즘의 궁극적인 잠재력을 직접적으로 결정합니다. 골격을 잘 설계하지 않으면 아무리 훈련을 시켜도 결국 불만족스러울 뿐입니다.


 $w$ 1
 $b$ 2
부적절한 구조


 $a$ 1
 $b$ 0
 $c$ 0
적절한 구조

신경망의 구조는 훈련을 통해 얻을 수 없으며 일반적으로 인공 설계가 필요합니다.

또한 알고리즘을 통한 아키텍처 검색, 즉 다양한 아키텍처를 시도하고 최종 훈련 효과에 따라 최상의 아키텍처를 선택하는 방식이 있는데, 이는 막대한 컴퓨팅 파워를 필요로 하며 극소수의 기관에만 적합합니다. 강력한 재정 자원으로.

인공적으로 좋은 신경망 구조를 설계하려면 다음이 필요합니다.

업무에 해당하는 목적함수에 대해 어느 정도 이해하거나 합리적으로 추측할 것
신경망의 일반적인 구조를 숙지하고 그 원리를 이해한다.
이러한 구조를 사용하여 목적 함수와 유사한 구조로 조합합니다.

요약하다

데이터셋은 충분한 정보를 제공할 수 없으며, 신경망의 구조는 정보 부족을 보충해야 합니다.
신경망 구조에 대한 정보는 목적함수의 처리과정에 대한 이해와 시뮬레이션에서 나온다.

네트워크 구조

개요

비주얼 디스플레이

2점

3점

5점

요약하다

신경망의 구조 설계

특수 구조

구조 설계

요약하다

문제

신경망은 임의의 기능을 시뮬레이션할 수 있는데 왜 신경망의 구조를 설계해야 합니까?