Redis and Celery

개요

Redis와 Celery의 관계를 좀 더 자세하게 정리해보려 한다.

정리

Redis와 Celery는 비동기 태스크 큐 시스템을 구축할 때 사용되며, 각각 메시지 브로커와 백엔드 저장소 역할을 한다.

Celery

비동기 작업 처리를 위한 분산 태스트 큐 시스템으로, 메시지 브로커(Message Broker)를 통해 작업 관리

• Producer (Client)
  • 사용자가 요청을 보냄
  • Celery가 요청을 받아 Redis에 작업을 등록(Queue)함
• Broker (Redis)
  • Celery가 실행해야 할 작업을 큐(Queue) 형태로 저장
  • Worker가 대기하다가 작업을 가져가서 실행
• Worker (Celery Worker)
  • Redis에서 작업을 꺼내 실행하고 결과를 저장
  • 여러 개의 Worker가 동시에 실행 가능 (병렬 처리)
• Backend (Redis)
  • Celery가 작업 결과를 저장하는 곳
  • AsyncResult(task_id).result로 결과를 가져올 수 있음

 

Redis + Celery 동작 흐름

1️⃣ 사용자가 FastAPI 엔드포인트 호출

• Celery가 작업을 생성하고 Redis에 등록 (Producer → Broker)
• Redis 내부에 대기 중인 Task Queue가 생김 (task id를 celery-task-id-12345라고 가정하자)

2️⃣ Celery Worker가 Redis에서 작업을 가져와 실행

• Celery Worker가 Redis에서 celery-task-id-12345를 꺼내어 실행
• Redis에서 실행 중인 작업 상태를 업데이트

3️⃣ 작업 실행 완료 후 결과를 Redis에 저장

크롤링 작업이 완료되면 결과를 Redis에 저장함

→ 이제 AsyncResult(task_id).result를 통해 FastAPI에서 결과를 가져올 수 있다

 

Redis + Celery 설정

Celery와 Redis를 함께 사용하려면 broker와 backend를 Redis로 설정해야 한다.

celery_app = Celery(
    "tasks",
    broker="redis://localhost:6379/0",  # Redis를 메시지 브로커로 사용
    backend="redis://localhost:6379/0"  # Redis를 백엔드로 사용 (결과 저장)
)

 

✅ Redis는 Celery의 메시지 브로커 + 결과 백엔드 역할

✅ Celery는 Redis를 이용해 비동기 태스크를 관리

✅ FastAPI → Celery → Redis → Worker → Redis → FastAPI 흐름으로 실행된다.