[Celery] 적절한 concurrency 값 설정하기

개요

Celery에서 concurrency 값은 한 번에 몇개의 작업을 동시에 실행할지 결정하는 중요한 설정이다.

적절한 concurrency 값은 어떻게 설정할까 .. (하드웨어, 워크로드, 작업 특성에 따라 다르다!)

확인

concurrency

• Celery는 기본적으로 Prefork (multiprocessing) 모드를 사용
• concurrency는 각 worker가 동시에 처리할 수 있는 작업 개수를 의미한다.
• worker는 실제로 Task를 실행하는 프로세스(작업 단위)를 의미한다.

1️⃣ CPU 코어 수

Celery가 CPU 연산을 많이 사용하는 작업(예: 머신러닝, 이미지 처리 등)을 실행한다면, CPU 코어 수 기준으로 설정

 

CPU 코어 개수	적절한 concurrency 값
2 코어	2~4
4 코어	4~8
8 코어	8~16

✔ 멀티코어를 활용할 수 있도록 CPU 코어 개수만큼 concurrency 설정하는 것이 일반적

 

2️⃣ 태스크 유형 (CPU-bound vs I/O-bound)

작업 유형	설명	적절한 concurrency 값
CPU-bound	머신러닝, 영상처리, 수학 연산 등	CPU 코어 수만큼 설정 (os.cpu_count())
I/O-bound	크롤링, DB 조회, 네트워크 요청 등	CPU 코어 수 * 2~4

 

✔ CPU 연산이 많은 경우 (CPU-bound)

celery -A celery_tasks.celery_app worker --concurrency=$(nproc)

 

✔ 크롤링, DB 연산이 많은 경우 (I/O-bound)

celery -A celery_tasks.celery_app worker --concurrency=$(( $(nproc) * 4 ))

 

 

✔ I/O 작업이 많으면 CPU 코어보다 더 많은 worker를 할당하는 것이 유리함

 

3️⃣ 메모리 사용량 고려

Worker 프로세스마다 메모리를 차지하므로, 메모리가 부족한 경우 concurrency 값을 너무 높이면 Out of memory (OOM) 발생 가능

 

서버 RAM	적절한 concurrency 값
2GB	2~4
4GB	4~8
8GB 이상	8~16

✔ 메모리가 2GB밖에 없다면, concurrency=2~4 정도가 적절하다.

 

4️⃣ Celery 실행 모드 (Prefork vs Threaded)

Celery는 --pool=prefork(기본값) 또는 --pool=threads 모드로 실행할 수 있다.

✔ CPU 사용이 많다면 prefork (기본)

celery -A celery_tasks.celery_app worker --loglevel=info --concurrency=4 --pool=prefork

→ 각 작업이 별도의 프로세스에서 실행되므로 CPU 사용이 많을 때 유리함

 

✔ I/O 작업이 많다면 threads

celery -A celery_tasks.celery_app worker --loglevel=info --concurrency=10 --pool=threads

→ 웹 크롤링, DB 조회 같은 I/O 작업이 많다면 threads 모드가 더 효율적

 

정리

Celery 작업이 크롤링 중심이라면, I/O-bound에 해당하므로 concurrency = (CPU 코어 수 * 4) 으로 하는게 좋을 것 같다.

celery -A celery_tasks.celery_app worker --concurrency=$(( $(nproc) * 4 )) --pool=threads