Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
Tags
- Prometheus
- k8s
- Codebuild
- alertmanager
- slack
- emptyDir
- NFS Client Privisioner
- Persistent Volume Claim
- pod
- aws-dop
- grafana
- cicd
- codecommit
- Persistent Volume
- node exporter
- ncp
- ingress controller
- HTTPS Redirect
- RKE2
- kubernetes
- Naver cloud platform
- ALB
- SSL Offload
- Codepipeline
- DevOps
- volume
- Codedeploy
- ingress
- AWS
- emptyDir Volume
Archives
- Today
- Total
목록Big Data (1)
Cloud SA's This and That
[Big Data] - Airflow 서버 구축 & DB 연동
[AirFlow] - workflow management tool 목적 : 전체 Flow 파악 / 배치 파이프라인 모니터링 및 스케줄링 / 각 Task 병렬 처리 / 유연한 DAG 작성 다양한 워크플로우 매니지먼트 툴이 존재하며 대표적으로는 Airflow, oozie, Azkaban이 있다. -실제로 데이터 처리가 이루어지는 것은 아님 / workflow 작성 및 모니터링 작업을 프로그래밍을 도와주는 플랫폼 -파이썬 기반으로 코드를 작성해 워크플로우 관리 / 콘솔을 통해서도 관리 가능 -다양한 벤더들과 호환 가능 >Airflow webserver : 웹 UI 표현 / workflow 상태표시 및 실행 >Airflow Scheduler : 작업 기준 충족 여부 확인 / 종속 작업이 성공 완료 및 예약 간격..
Big Data
2023. 7. 21. 13:44