[Airflow] The scheduler does not appear to be running. Last heartbeat was received 7 hours ago.The DAGs list may not update, and new tasks will not be scheduled.

 

잘 운영되던 Airflow가 갑자기 멈춘것 같다는 얘기를 듣고 봤더니

 

엥 ~ ?? 내 DAG 들 다 오디감 ?

The scheduler does not appear to be running. Last heartbeat was received 7 hours ago.

The DAGs list may not update, and new tasks will not be scheduled.

 

>> 해석

스케줄러가 실행 중이 아닌 것 같음. 마지막은 7시간 전에 수신되었음.
DAG 목록이 업데이트되지 않을 수 있으며 새 작업이 예약되지 않음.

 

Airflow 기능 중에 health 확인할 수 있는 방법이 있어서 한번 사용해보았당

<airflow server>/health

 

health 한지 unhealthy 한지 확인할 수 있다.

 

진짜 이유는 memory 부족 !!

scheduler 에 쌓인 logs를 정리하려 한다.

 

나중에 또 쌓여서 오늘과 같은 문제가 생기면 안되니

주기적으로 log를 정리하도록 만들어주려고 한다.

 

#!/bin/bash

find /home/ubuntu/<path>/airflow/logs/scheduler/ -mtime +14 -exec rm -rf {} \;

 

이과 같은 shell script를 만들고

0 0 * * * /home/ubuntu/<path>/remove_log.sh

 

이과 같은 cron를 추가해주었다

주기적으로 잘 삭제해주렴

 

그리고 사용하지 않는 image, container를 삭제해준다.

docker system prune -a

 

docker volumn도 정리해준다.

docker volume prune

 

디스크 용량 확인해준다.

docker system df

 

정리해준 docker 재실행해주자

아래 명령어들을 순서대로 실행해준다.

docker compose down

docker compose up airflow-init

docker compose up -d

 

엇 ? 왜 안뜨지 ??????????? 하고 봤는데

내 인내심의 문제였다

올리는데 잠깐의 시간이 소요되었을 뿐

정상화 완료