AttributeError: 'DisabledBackend' object has no attribute '_get_task_meta_for'

 

Celery를 이용한 크롤링 예제

크롤링 예제를 진행하며 생겼던 오류 기록

 

개요

celery app을 활성화 시키고, Fastapi app도 활성화했다.

celery_tasks.py

import requests
from bs4 import BeautifulSoup
from celery import Celery
import time

celery_app = Celery(
    "tasks",
    broker="redis://localhost:6379/0",
    backend="redis://localhost:6379/0"
)

@celery_app.task(bind=True)
def crawl_website_task(self, url: str):
    ...

app.py : FastAPI app

from fastapi import FastAPI, BackgroundTasks
from celery_tasks import crawl_website_task
from celery.result import AsyncResult

app = FastAPI()

@app.get("/")
def home():
    return {"message": "Welcome to the Celery Web Scraper API"}

@app.post("/crawl")
def start_crawling(url: str, background_tasks: BackgroundTasks):
    task = crawl_website_task.delay(url)
    return {"task_id": task.id, "message": f"Crawling started for {url}"}

@app.get("/task/{task_id}")
def get_task_status(task_id: str):

    task_result = AsyncResult(task_id)

    return {
        "task_id": task_id,
        "status": task_result.status,
        "result": task_result.result
    }

 

/crawl endpoint를 호출해서 크롤링을 시작하고,

➜  ~ curl -X POST "http://127.0.0.1:8000/crawl/?url=https://example.com"
{"task_id":"9f9e0b42-09d5-4fc1-9a76-21ce57397471","message":"Crawling started for https://example.com"}

 

상태를 확인하기 위해 /task/{task_id} 호출하니 오류가 발생했다.

➜  ~ curl -X GET "http://127.0.0.1:8000/task/9f9e0b42-09d5-4fc1-9a76-21ce57397471"
Internal Server Error

 

FastAPI 로그를 확인하니 다음과 같은 오류 메세지를 확인할 수 있다.

AttributeError: 'DisabledBackend' object has no attribute '_get_task_meta_for'

→ 이 오류는 celery 백엔드가 비활성화되어있는데 태스크를 조회하려고 할 때 발생하는 오류이다.

 

• transport: redis://localhost:6379/0 → Celery가 Redis를 메시지 브로커로 사용 중
• results: redis://localhost:6379/0 → 결과 저장 백엔드로 Redis 사용 중

하지만, Celery 실행 시킬 때 results: redis://localhost:6379/0 으로 백엔드 잘 활성화 되어있음을 확인했다.

그럼 FastAPI에서 celery config를 못 읽어서 생기는 문제이다.

 

celery_task.py 에 config를 직접 명시해준다.

celery_app.conf.update(
    result_backend="redis://localhost:6379/0", # 백엔드 설정 명시적으로 추가
    result_expires=3600, # 결과 저장 시간 (1시간)
    task_ignore_result=False, # 결과 저장 활성화 (기본적으로 비활성화일 수도 있음)
    broker_connection_retry_on_startup=True # Celery 6.0 이상에서 필요한 설정 추가
)

 

FastAPI app 쪽에 코드도 수정해준다.

# 수정 전
@app.get("/task/{task_id}")
def get_task_status(task_id: str):

    task_result = AsyncResult(task_id)

    return {
        "task_id": task_id,
        "status": task_result.status,
        "result": task_result.result
    }

# 수정 후
@app.get("/task/{task_id}")
def get_task_status(task_id: str):
    # Celery 백엔드 설정이 적용되었는지 확인
    if celery_app.conf.result_backend is None or celery_app.backend is None:
        return {"error": "Celery backend is disabled in FastAPI"}

    # AsyncResult 호출
    task_result = AsyncResult(task_id, app=celery_app)

    return {
        "task_id": task_id,
        "status": task_result.status,
        "result": task_result.result
    }

 

• 백엔드 설정 적용 확인 먼저 진행하고
• 호출 할때 celery app을 직접 명시해주었다.

celery와 fastapi app를 restart 시키고 테스트 진행

➜  ~ curl -X GET "http://127.0.0.1:8000/task/9f9e0b42-09d5-4fc1-9a76-21ce57397471"
{"task_id":"9f9e0b42-09d5-4fc1-9a76-21ce57397471","status":"SUCCESS","result":{"title":"Example Domain","links":["https://www.iana.org/domains/example"]}}

 

태스트 상태 잘 출력됨 확인