data
-
Airflow catch up 과 backfillAirflow 2024. 11. 10. 18:05
1. catch upcatch up 은 DAG 가 활성화된 시점과 현재 시점 사이의 누락된 모든 과거 일정을 자동으로 실행하는 기능이다.DAG의 start_date 부터 현재까지의 누락된 실행을 자동으로 처리한다.catchup=True 파라미터로 설정할 수 있다.예시:with DAG( 'example_dag', start_date=datetime(2024, 1, 1), schedule_interval='@daily', catchup=True) as dag: # tasks here2. backfillBackfill 수동으로 특정 기간의 DAG 실행을 처리하는 명령어시작 날짜와 종료 날짜를 지정하여 해당 기간의 테스크를 실행CLI 명령어를 통해 실행예시:from airflow im..