AI

LSTM 모델에 이어서 동일 데이터로 Transformer 모델에서 모델링을 진행하였습니다. 기존 LSTM 모델 결과를 확인하고 싶으시면 다음 링크로 들어가시면 됩니다. 감사합니다 :-) LSTM으로 spam 데이터 판별 주제 설명 Spam data를 바탕으로 이를 spam인지 spam이 아닌지 판별을 하는 모델을 개발하였습니다. 해당 모델은 LSTM을 선정하여 진행하였습니다. LSTM(Long SHor-Term Memory)는 순환 신경망(recureent natural net sunho99.tistory.com 주제 설명 보고서는 Transformer 모델을 사용하여 스팸 메세지를 감지하고 분류하는 과정에 대해 자세히 설명합니다. Transformer는 자연어 처리에 널리 사용되는 딥러닝 아키텍처로,..

주제 설명 Spam data를 바탕으로 이를 spam인지 spam이 아닌지 판별을 하는 모델을 개발하였습니다. 해당 모델은 LSTM을 선정하여 진행하였습니다. LSTM(Long SHor-Term Memory)는 순환 신경망(recureent natural network, RNN)의 한 종류로 text데이터와 같은 sequence 데이터를 처리하는데 특히 유용한 알고리즘입니다. 이러한 이유로 spam 데이터를 선정하였으며, 해당 보고서에서는 LSTM을 이용하여 스팸 메일을 식별하는 문제를 다룰 것 입니다. 데이터 설명 이 프로젝트에서 사용된 데이터는 스팸과 스팸이 아닌 일반 메일로 레이블링된 이메일 데이터입니다. 데이터셋은 이메일의 본문 텍스트와 해당 이메일이 스팸인지 스팸이 아닌지를 나타내는 레이블로 구..

본 글은 공부한 내용과 다른 사람들의 블로그를 참조하며 작성한 글입니다. 추가적으로 Amazon Forecast내에 있는 Prophet model을 사용하고자 공부하며 작성중입니다. Prophet이란? 오늘날, 현 Meta(전 Facebook)에서 open source로 나온 시계열 데이터 모델입니다. Python과 R을 사용하여 forecast가 가능합니다. 통계적 지식이 없어도 직관적 파라미터를 통해 모형을 조정할 수 있습니다. Prophet 설치 방식 python -m pip install prophet Prophet 구성요소 Growth Seasonality, Holidays g(t) 는 반복적인 요소를 갖고 있지 않은 트랜드, s(t)는 계절성,주기성 등 반복적인 변화, h(t)는 Holiday..

리뷰 데이터 파일 읽고 데이터 전처리 def total_review_toknizer(): file_path = "/Users/sunho99/PycharmProjects/python_Project/setiment_dictionary_project/text1.txt" okt = Okt() total_reviews = [] with open(file_path) as f: lines = f.readlines() with open(file_path) as f: lines = f.readlines() for i in lines: total_reviews.append(i[2:].strip("\n")) okt = Okt() normalization_total_review = [] # 평점 1~3점 # 문장 이상한거 수..

들어가기 앞서 Attention is All your need 라는 Transformer라는 논문이 나온 후 대부분의 논문들이 Transformer를 기반으로 하여 작성이 됐음 Decoder만 사용하는 GPT계열, Encoder를 사용하는 BERT계열, 그리고 Encoder와 Decoder를 함께 사용하는 seq to seq 계열인 BART와 T5가 나옴. 이처럼 transfer learning framework 안에서도 다양한 모델이 존재함. 우리가 모델이라고 부르는 것 안에는 학습 방식 외에도 학습에 사용한 데이터셋, optimizer, 모델의 크기 등 많은 내용이 함축되어있음. 그래서 각 모델의 아이디어중 과연 “어떤 특징이 좋은 모델 성능을 내는데에 도움이 되었을까?”에 대한 질문의 답을 찾기위해..

들어가기 앞서 기존 상태 트랜스포머 구조가 자연어 처리 task들에서 표준이 되는 동안, vision에 이를 적용한 사례는 한정되어 왔습니다. 비전 분야에서 attention은 Convolution network과 함께 적용되거나, Convolutional network의 특정 요소를 대체하기 위해 사용되었기 때문입니다. 해당 논문에선 이러한 CNN에 대한 의존이 필요하지 않고 순수 트랜스포머가 곧바로 이미지 패치들에 사용되고 이미지 분류에 잘 작동함을 보여줍니다. Introduction NLP에서의 트랜스포머 스케일링이 성공한 것에 영감을 받아, 이 논문에서는 standard transformer를 최소한의 수정으로 직접 이미지에 적용하는 것에 대해 실험을 했습니다. 이를 위해, 이미지를 패치별로 쪼개..

Noisy student training -논문리뷰 분석 논문이 나오기 전 기존 SOTA 비전 모델들이 지도학습을 위주로 많이 나왔으며 labeled Data를 바탕으로 한 모델들이 많이 나왔습니다. 따라서 모델의 성능을 높이기 위해선 더 많은 Labeled Dataset이 필요했고 모델의 성능이 한정이 있었습니다. 또한 Unlabeled Dataset을 잘 사용하지 못하였습니다. 무엇을 이뤘는가? 방대한 양의 Unlabeled Dataset을 효율적으로 사용하여 모델 성능을 높였습니다. teacher network와 동등하거나 보다 큰 student network를 만들고 student network에 noise를 주입함으로써 모델을 보다 견고하게 만들었습니다. 준지도학습 접근법으로 다음과 같은 단계를..

EDA란? 수집한 데이터가 들어왔을 때, 이를 다양한 각도에서 관찰하고 이해하며 data의 feature을 파악하는 과정입니다. 주관적으로 데이터를 바라보는 것이 아닌 그래프,통계와 같은 방식들을 사용하여 직관적으로 데이터를 바라봐야합니다. 왜 EDA를 해야 하는가? 기본적으로 raw 데이터는 더럽습니다. 결측치(NAN)와 데이터의 타입 등 데이터 전처리를 진행해야 하며 data column명이 무엇을 의미하는지, 해당 데이터의 분 및 값들을 확인하면서 데이터 표현 방식을 더 잘 이해하고, 데이터들끼리의 상관관계를 바탕으로 새로운 data를 만들 수도 있기 때문입니다. 다양한 가설들을 세우고 이를 그래프나 통계적인 방식으로 확인하면서, 데이터들의 패턴을 파악 할 수 있습니다. EDA 실습 kaggle에서..