AI/Concepts

클러스터링이란 범주 구조를 생성하는 통계적 기법입니다. 동일 그룹에 속하는 개체들은 결속력이 강하고, 다른 그룹에 속하는 개체들은 결속력이 약합니다. classfication과 차이점 : 클러스터 그룹이 알려져 있지 않습니다. 클러스터링 기법의 분류 분류하기전, 각 문서들에 대해 matrix 연산을 진행해야 합니다. 계층적 구조와 비계층적 구조로 나뉠 수 있습니다. 응집 vs 분할 방식으로 나눌 수 있습니다. Distribution-based(분포 기반) vs density-based(밀집 기반) cluster의 분포를 중요시 한다면 각 cluster들의 크기가 일정합니다. cluster의 밀집도를 중요시 한다면 DBSCAN과 같은 방식을 사용할 수 있습니다. 이러한 방식은 불규칙을 처리가능 하며, No..

Batch란? 기본적으로 딥러닝에서 batch란, 전체 데이터에서 일부분을 칭하는 단어입니다. 이에 따라 학습의 효율성을 위해 전체 큰 데이터를 분할하여 학습을 하게 되는데 이를 batch단위로 쪼개 학습을 한다고 말합니다. 이때, Neural network의 depth가 깊어질수록, 즉 Layer가 많아질수록 "internal covariate shift" 현상이 발생합니다. internal convariate shift 현상이란, 모델 학습 과정에서 Layer를 통과할 때마다 출력값의 데이터 분포는 Layer마다 다르게 나타나는 현상입니다. 왜 데이터의 분포가 달라지냐 묻는다면, 학습이 진행될수록 정규화를 하지 않으면 x,y의 학습폭이 다르게 나타날 수 있기 때문입니다. 위 사진처럼 gradient를..

Regularization이란? Overfitting을 피하기 위한 기법으로, 과적합을 예방하기 위한 Loss finction에 대한 추가 기준입니다. 이에 모델을 조금더 General하게 만들고자합니다. Overfitting이란, 모델이 noise에 대해 높은 수용력을 가지며 기존 훈련 데이터에는 높은 성능을 가지지만, 새로운 예제에 대해선 그만큼의 성능을 보이지 못하는 경우를 의미합니다. 기본적인 Regularization의 수식은 다음과 같습니다. 기존 Data loss를 통해 모델 예측을 하는 수식에 hyperparameter를 추가하여 overfitting을 피하도록 진행합니다. 이에 따라 L2 정규화와 L1정규화에 대해 설명하겠습니다. L2 정규화란? Ridge Regression이라고도 불리..