크롤링 관리 Airflow vs Celery

개요

기존 프로젝트의 크롤링 시스템을 Airflow로 관리했다.

Airflow 운영 중이던 서버에 문제가 많았는 데, 그 중에서 제일 큰 문제는 cpu 점유율이 100으로 치솟을 때가 많았다는 것이다.

Airflow로 운영하는 것이 많이 무겁고 오버헤드가 크기 때문에 이번에 Airflow가 아닌 다른 방법으로 관리할 수 있는지에 대해 조사 및 정리를 해보려고 한다.

확인

Airflow는 데이터 파이프라인 및 워크플로우 관리에 최적화된 도구이다. 크롤링 같은 단순한 작업을 실행할 때에는 Celery가 더 적합하다.

Airflow와 Celery를 비교해보면

 

비교 항목	Celery	Airflow
주요 목적	비동기 작업 실행 (태스크 큐)	데이터 워크플로우 및 파이프라인 관리
작업 실행 방식	빠른 실행, 단순한 작업 처리	DAG 기반, 스케줄링 중심
스케줄링	기본 제공 (beat 제공)	강력한 DAG 기반 스케줄링 중심
상태 관리	제한적 (단순 성공/실패)	Task, Retry, DAG 의존성 관리
설치 및 설정	상대적으로 간단	복잡한 설치 및 설정 필요
실시간 트리거	가능	DAG 실행 기반이라 실시간 대응이 어려움
작업 벙렬 실행	가능 (worker 개수 조절)	CeleryExecuter 또는 KubernetesExecuter 사용 시 가능

→ 크롤링은 단순한 개별 작업이 많고, 빠르게 실행되며, 실시간 요청이 많을 가능성이 높으니 → Celery가 더 적합한 것으로 보인다.

• 데이터 파이프라인 및 워크플로우 관리 = 여러 개의 데이터 처리 작업을 순서대로 실행하는 것
• Airflow는 DAG 기반으로 각 Task의 실행 순서와 의존성을 관리하는 데 강력하다.
• 크롤링 서비스는 개별적으로 실행되는 경우가 많아 Celery가 적합하다.
• 하지만 크롤링 후 데이터 분석까지 포함된다면 Airflow를 고려해도 된다.

실시간 Trigger 가능

• Celery는 API 요청을 받아서 즉시 실행 가능 (apply_async() 사용)
• Airflow는 DAG 실행 방식이라 즉시 실행이 어렵고 trigger를 추가해야 함

예제

(1) Celery

from tasks import crawl_site
crawl_site.apply_async(args=["https://example.com"])

→ 즉시 실행 가능

 

(2) Airflow

from airflow.api.client.local_client import Client
client = Client(None)
client.trigger_dag(dag_id="crawl_dag")

→ DAG 실행을 트리거해야 해서 즉시 실행이 어려움

크롤링 Task는 단순한 개별 실행이므로 DAG 필요 없음

• Airflow는 DAG(Direct Acyclic Graph) 기반이라 여러 단계의 워크플로우를 정의하는 데 최적화되어 있다.
• 크롤링은 보통 단순한 요청을 실행하는 작업이므로 DAG가 불필요하게 복잡해질 수 있다.
• Celery는 단순한 비동기 테스트 실행이라 크롤링에 적합하다.

Celery도 스케줄링 가능

• Celery는 celery-beat를 사용하면 크론처럼 스케줄링 가능
• 크롤링 스케줄링이 필요하면 Celery로도 충분히 구현 가능

from celery.schedules import crontab

app.conf.beat_schedule = {
    'crawl_every_minute': {
        'task': 'tasks.crawl_site',
        'schedule': crontab(minute='*/1'),  # 1분마다 실행
        'args': ('https://example.com',)
    },
}

결론

Airflow보다 Celery를 쓰는 게 더 간단하고 효율적이라고 판단.

Airflow는 복잡한 데이터 워크플로우 전용이라 크롤링 같은 짧은 작업을 처리하기엔 오버헤드가 크다.

따라서, Celery + FastAPI 조합으로 크롤링 시스템을 만들고, 필요하면 celery-beat로 스케줄링을 추가하는 걸 고려하는게 좋을 것이라고 판단된다.

 

+ Celery를 이용한 크롤링 예제를 추가로 정리했다.

Celery를 이용한 크롤링 예제