Apache/Apache Airflow

기본 명령어 세팅 및 설치 sudo apt update sudo apt install python3-pip sudo apt install python3-testresources sudo apt-get update -y sudo apt-get install -y --no-install-recommends \ freetds-bin \ krb5-user \ ldap-utils \ libsasl2-2 \ libsasl2-modules \ libssl1.1 \ locales \ lsb-release \ sasl2-bin \ sqlite3 \ unixodbc \ postgresql \ python3-pip \ python3-testresources airflow 폴더 생성 및 환경변수 세팅 mkdir ~/airfl..

Apache Airflow 란? airflow는 에어비엔비에서 만든 worflow를 만드는 오픈소스 프로젝트입니다. 정확한 시간에, 정확한 방법으로, 정확한 순서대로 실행하게 해주는 오케스트레이터입니다. 데이터 엔지니어링의 ETL작업을 자동화고, DAG(Directed Acyclic Graph) 형태의 workflow 작성이 가능합니다. webserver, scheduler,executor, worker 등으로 구성되어 있습니다. datapipeline을 구성할 때 주로 사용됩니다. 구성요소 설명 Scheduler : DAG와 작업들을 모니터링하고 task의 실행 순서와 상태관리를 합니다. MetaStore : 실행할 Task의 관한 정보를 정해 놓습니다. Executor : 스케쥴러와 함께 동작하는 구..