들어가기 앞서 Attention is All your need 라는 Transformer라는 논문이 나온 후 대부분의 논문들이 Transformer를 기반으로 하여 작성이 됐음 Decoder만 사용하는 GPT계열, Encoder를 사용하는 BERT계열, 그리고 Encoder와 Decoder를 함께 사용하는 seq to seq 계열인 BART와 T5가 나옴. 이처럼 transfer learning framework 안에서도 다양한 모델이 존재함. 우리가 모델이라고 부르는 것 안에는 학습 방식 외에도 학습에 사용한 데이터셋, optimizer, 모델의 크기 등 많은 내용이 함축되어있음. 그래서 각 모델의 아이디어중 과연 “어떤 특징이 좋은 모델 성능을 내는데에 도움이 되었을까?”에 대한 질문의 답을 찾기위해..
