s3

캡스톤디자인 회고 및 프로젝트 정리 3장 캡스톤디자인 회고 및 프로젝트 정리 2장 캡스톤디자인 프로젝트를 구성하기 위해 먼저 주기적인 회의 및 소통을 통해 팀 프로젝트의 진행방향을 잡아갔습니다. 먼저 캡스톤 디자인주제를 선정 sunho99.tistory.com 해당 글은 3장에 이어 추가적으로 작성을 하고 있습니다. 과정을 보고 싶으신 분은 1장부터 차례대로 보시면 될 것 같습니다. 3장까지 진행한 결과를 요약하자면 서울시 실시간 인구 데이터를 바탕으로 인구예측 모델을 통해 인구 혼잡 정보를 사용자에게 제공했습니다. 인구데이터에 대해 '왜 사람들이 특정 지역에 모이는가?' 라는 의문을 가질 수 있는데 해당 궁금증을 해소하기 위해 지역별 트렌드를 분석하여 제공하도록 했습니다. 위는 모바일 어플리케이션 설계..

캡스톤디자인 회고 및 프로젝트 정리 2장 캡스톤디자인 프로젝트를 구성하기 위해 먼저 주기적인 회의 및 소통을 통해 팀 프로젝트의 진행방향을 잡아갔습니다. 먼저 캡스톤 디자인주제를 선정하기에 있어 상당히 많은 노력과 리서치 sunho99.tistory.com 해당 글은 2장에 이어 추가적으로 작성을 하고 있습니다. 과정을 보고 싶으신 분은 1장부터 차례대로 보시면 될 것 같습니다. 2장에서 API 통신을 통해 1시간마다 데이터를 적재하며 시계열 데이터를 구축했습니다. 해당 데이터를 바탕으로 Prophet 모델을 사용하여 인구 모델 데이터 예측을 진행했습니다. import pandas as pd import numpy as np from prophet import Prophet from datetime im..

캡스톤디자인 회고 및 프로젝트 정리 1장 2023년 졸업 작품 및 캡스톤 디자인 프로젝트를 진행하면서 했던 과정들을 정리하고자 합니다. 먼저 저는 MLOps라 하긴 민망하지만, 클라우드 내 데이터 파이프라인을 구축하며 API를 통해 데이터 sunho99.tistory.com 해당 글은 캡스톤 디자인 1장에 이어 작성됐습니다. 캡스톤디자인 프로젝트를 구성하기 위해 먼저 주기적인 회의 및 소통을 통해 팀 프로젝트의 진행방향을 잡아갔습니다. 먼저 캡스톤 디자인주제를 선정하기에 있어 상당히 많은 노력과 리서치를 진행하였습니다. 이때 저희는 서울시 실시간 도시데이터를 발견하여 이를 활용해 어떠한 서비스를 제공할 수 있을지 초점을 두기 시작하였습니다. https://data.seoul.go.kr/SeoulRtd/l..

이번 동계 인턴을 하면서 AWS Athena에 대한 지식도 필요할 것 같아 공부하면서 정리하고자 블로그를 작성하였습니다. 보고 지적할 점이 있으면 말해주시면 감사하겠습니다. AWS Athena란? Amazon Athena는 표준 SQL을 사용하여 Amazon S3(Amazon Simple Storage Service)에 있는 데이터를 직접 간편하게 분석할 수 있는 대화형 쿼리 서비스입니다. 즉, S3에 저장된 로그 데이터를 쉽게 분석하는 기능을 제공해주는 서비스이며 CSV,JSON,text 로그 등의 데이터를 분석하는데 도움을 줍니다. Athena에서는 테이블과 데이터 베이스는 단순히 메타데이터에 대한 정의를 저장하고 있는 저장소일 뿐입니다. AWS Athena를 사용하는 이유 Athena는 Amazon..

Amazon S3란? Amazon Simple Storage Service(Amazon S3)는 업계 최고 수준의 확장성, 데이터 가용성, 보안 및 성능을 제공하는 객체 스토리지 서비스입니다 추가적으로 아마존 웹 서비스에서 제공하는 온라인 스토리지 웹 서비스라고 생각하시면 되겠습니다. 해당 서비스를 통해 스토리지를 제공합니다. Amazon S3 작동 방식 Amazon S3는 데이터를 버킷 내의 객체로 저장하는 객체 스토리지 서비스입니다. 객체는 해당 파일을 설명하는 모든 메타데이터입니다. 버킷은 객체에 대한 컨테이너입니다. 데이터를 저장하기 위해 버킷을 생성하고 해당 버킷에 이름과 AWS 리전을 할당합니다. 이후 Amazon S3에서 객체로 해당 버킷에 데이터를 업로드합니다. 각 객체에는 식별할 수 있는..