AWS

들어가기 앞서 데이터의 feautre를 확인하기 위해 많은 사람들이 데이터 시각화를 진행합니다. AI/ML 쪽 관련도 모델링을 하기 전 data의 유형 및 특징을 파악하기 위해 EDA를 진행합니다. 이처럼 Amazon 내에서도 Cloud 환경내에서 BI(Business Intelligence)를 하기위한 서비스로 Amazon Quicksight서비스를 지원합니다. 이번 동계 인턴을 진행하면서 실제로 Amazon QuickSight를 사용하여 고객사의 데이터를 바탕으로 BI를 진행하면서 배운 지식을 정리할 겸 간단하게 블로그를 작성하였습니다. 보안관련상 실 데이터로는 블로그를 작성하지 못하다는 점을 감안해주시면 감사하겠습니다. Amazon QuickSight란? Amazon QuickSight는 제공하는 ..

이번 동계 인턴을 하면서 AWS Athena에 대한 지식도 필요할 것 같아 공부하면서 정리하고자 블로그를 작성하였습니다. 보고 지적할 점이 있으면 말해주시면 감사하겠습니다. AWS Athena란? Amazon Athena는 표준 SQL을 사용하여 Amazon S3(Amazon Simple Storage Service)에 있는 데이터를 직접 간편하게 분석할 수 있는 대화형 쿼리 서비스입니다. 즉, S3에 저장된 로그 데이터를 쉽게 분석하는 기능을 제공해주는 서비스이며 CSV,JSON,text 로그 등의 데이터를 분석하는데 도움을 줍니다. Athena에서는 테이블과 데이터 베이스는 단순히 메타데이터에 대한 정의를 저장하고 있는 저장소일 뿐입니다. AWS Athena를 사용하는 이유 Athena는 Amazon..

EC2(Elastic Compute Cloud)란? AWS에서 제공하는 서비스 중 대표적인 서비스로 클라우드에서 확장가능 컴퓨팅 용량을 제공합니다. 1세대 클라우드 컴퓨팅으로써 하드웨어에 선투자 할 필요없이 (온프레미스 환경) 더 빠르게 애플리케이션을 배포할 수 있습니다. EC2 인스턴스의 유형에 따라 CPU, 메모리, 스토리지, 네트워킹 용량의 여러가지 구성을 제공합니다. AWS EC2는 IaaS(서비스형 인프라)의 대표 서비스 중 하나로, 직접 사용자가 인프라구축을 하며, 커스터마이징이 가능합니다. EC2 기능설명 인스턴스: 가상 컴퓨팅 환경입니다. AMI(Amazon Machine Image): 서버에 필요한 운영체제와 여러 소프트웨어들이 구성딘 상태로 제공되는 템플릿입니다. 인스턴스 유형: 인스턴..

Amazon S3란? Amazon Simple Storage Service(Amazon S3)는 업계 최고 수준의 확장성, 데이터 가용성, 보안 및 성능을 제공하는 객체 스토리지 서비스입니다 추가적으로 아마존 웹 서비스에서 제공하는 온라인 스토리지 웹 서비스라고 생각하시면 되겠습니다. 해당 서비스를 통해 스토리지를 제공합니다. Amazon S3 작동 방식 Amazon S3는 데이터를 버킷 내의 객체로 저장하는 객체 스토리지 서비스입니다. 객체는 해당 파일을 설명하는 모든 메타데이터입니다. 버킷은 객체에 대한 컨테이너입니다. 데이터를 저장하기 위해 버킷을 생성하고 해당 버킷에 이름과 AWS 리전을 할당합니다. 이후 Amazon S3에서 객체로 해당 버킷에 데이터를 업로드합니다. 각 객체에는 식별할 수 있는..

AWS RedShift란? Redshift는 AWS의 MPP(Massive Parallel Processing) Database입니다. PostgreSQL을 기반으로 하지만 PostgreSQL과 다르게 구현된 특징과 기능들도 있습니다. 주로 클라우드 데이터 웨어하우스를 만들 때 사용합니다. AWS Document 기반으로 Redshift의 특성에 대해서 정리해보았습니다. MPP(Massive Parallel Processing)은 무엇일까? 다수의 컴퓨팅 노드가 각 노드의 코어마다 전체 데이터를 분할하여 동일하게 컴파일된 쿼리 세그먼트를 실행합니다. 즉 다수의 컴퓨팅 노드가 각 노드의 코어마다 전체 데이터를 분할하여 동일하게 컴파일된 쿼리 세그먼트를 실행하면서 최종 결과에 이를 때까지 모든 쿼리를 처리합..