Pandas

EDA란? 수집한 데이터가 들어왔을 때, 이를 다양한 각도에서 관찰하고 이해하며 data의 feature을 파악하는 과정입니다. 주관적으로 데이터를 바라보는 것이 아닌 그래프,통계와 같은 방식들을 사용하여 직관적으로 데이터를 바라봐야합니다. 왜 EDA를 해야 하는가? 기본적으로 raw 데이터는 더럽습니다. 결측치(NAN)와 데이터의 타입 등 데이터 전처리를 진행해야 하며 data column명이 무엇을 의미하는지, 해당 데이터의 분 및 값들을 확인하면서 데이터 표현 방식을 더 잘 이해하고, 데이터들끼리의 상관관계를 바탕으로 새로운 data를 만들 수도 있기 때문입니다. 다양한 가설들을 세우고 이를 그래프나 통계적인 방식으로 확인하면서, 데이터들의 패턴을 파악 할 수 있습니다. EDA 실습 kaggle에서..

1. Matplotlib 시작하기 파이썬의 데이터 시각화 라이브러리 matplotlib 설치하기(terminal 명령어) * pip install matplotlib %matplotlib inline을 통해서 활성화 2. Case Study with Arguments plt.plot([1,2,3,4,5]) # 꺾은 선 그래프를 그려주는 함수 (실제 plotting을 하는 함수) # y = x + 1 plt.show() #plt를 확인하는 함수 Figsize : Figure(도면)의 크기 조절 plt.figure(figsize = (3,3)) # plotting을 할 도면을 선언 plt.plot([0,1,2,3,4]) # y = x plt.show() #plt를 확인하는 함수 2차함수 그래프 with pl..

파이썬으로 데이터 주무르기, pandas I. pandas 시작하기 Prerequisite: Table 행과 열을 이용해서 데이터를 저장하고 관리하는 자료구조(컨테이너) 주로 행은 개체, 열은 속성을 나타냄 Pandas 시작하기 import pandas를 통해서 진행 II. pandas로 1차원 데이터 다루기 - Series Series? 1-D labeled array 인덱스를 지정해줄 수 있음 s= pd.Series ([1,4,9,16,25]) s t = pd.Series({"one":1,"two":2,"three":3,"four":4,"five":5}) t Series + Numpy Series는 ndarray와 유사하다! s.dtype # 타입형 확인 하고 싶을때 사용 Series에 이름 붙이기 ..