목록Big Data (1)

Cloud SA's This and That

[Big Data] - Airflow 서버 구축 & DB 연동

[AirFlow] - workflow management tool 목적 : 전체 Flow 파악 / 배치 파이프라인 모니터링 및 스케줄링 / 각 Task 병렬 처리 / 유연한 DAG 작성 다양한 워크플로우 매니지먼트 툴이 존재하며 대표적으로는 Airflow, oozie, Azkaban이 있다. -실제로 데이터 처리가 이루어지는 것은 아님 / workflow 작성 및 모니터링 작업을 프로그래밍을 도와주는 플랫폼 -파이썬 기반으로 코드를 작성해 워크플로우 관리 / 콘솔을 통해서도 관리 가능 -다양한 벤더들과 호환 가능 >Airflow webserver : 웹 UI 표현 / workflow 상태표시 및 실행 >Airflow Scheduler : 작업 기준 충족 여부 확인 / 종속 작업이 성공 완료 및 예약 간격..
Big Data 2023. 7. 21. 13:44
이전 Prev 1 Next 다음