4주차 Day19 Deep Learning ANN,DNN,CNN 비교

ANN(Artificial Neural Network) - 인공신경망

이미지 출처:https://velog.io/@arittung/ANN-DNN-CNN-RNN

• 사람의 신경망 원리와 구조를 모방하여 만든 기계학습 알고리즘
• 모든 비선형 함수를 학습
• 모든 입력을 출력에 매핑하는 가중치를 학습할 수 있는 능력
• 활성화 함수는 네트워크에 비선형 속성 도입으로 입력과 출력 사이 복잡한 학습을 하는데 도움

01. ANN의 문제점

• 학습과정에서 파라미터 최적값 찾기 어려움
• Overfitting에 따른 문제

히든 레이어(Hidden Layer)란?

• 입력값(Features)를 구성하는 Input Layer와 출력값(Output)으로 구성되는 Output Layer 사이에 퍼셉트론(수식)을 추가하여 하나의 별도 Layer로 구성한 것을 히든 레이어라고 합니다.

DNN(Deep Neural Network) - 심층 신경망

NN vs DNN 출처:https://ebbnflow.tistory.com/119

• ANN 문제 해결을 위해 은닉층 확대.
• 은닉층을 2개 이상 지닌 학습 방법.

CNN(Convolution Neural Network) - 합성곱신경망

출처: https://byul91oh.tistory.com/332 

• 데이터의 특징을 추출하여 특징들의 패턴을 파악하는 구조
• NN에서 레이어가 깊어질수록 채널의 수가 많아지고 너비와 높이는 줄어듬.
• 컨볼루션 레이어의 서로 다른 필터들은 각각 적절한 특징(feature)값을 추출하도록 학습.
• 실제로 각 필터는 특정한 특징(feature)를 인식하기 위한 목적으로 사용.
• 각 필터는 특징이 반영된 특징 맵(feature map)을 생성.
• 얕은 층에서는 local feature, 깊은 층에서는 고차원적인 global feature를 인식하는 경향이 있음.
• 주로 텍스트 분류나 영상인식에서 사용됨.