본문 바로가기

👩🏻‍💻 🌮 💬

👩🏻‍💻/celery + redis9

[Celery] 간단하게 성능 체크 실행 후 CPU 사용량 및 Celery Worker 상태를 모니터링하려 한다. ✔ Celery Worker 프로세스 확인ps aux | grep "celery worker" ✔ CPU & 메모리 사용량 체크htop ✔ Redis에 대기 중인 작업 확인redis-cli llen celery → 만약 대기 중인 작업 개수 확인하고 적절한 concurrency 조정→ 메모리 사용량도 고려해서 concurrency 조정 2025. 2. 19.

[Celery] 적절한 concurrency 값 설정하기 개요Celery에서 concurrency 값은 한 번에 몇개의 작업을 동시에 실행할지 결정하는 중요한 설정이다.적절한 concurrency 값은 어떻게 설정할까 .. (하드웨어, 워크로드, 작업 특성에 따라 다르다!)확인concurrencyCelery는 기본적으로 Prefork (multiprocessing) 모드를 사용concurrency는 각 worker가 동시에 처리할 수 있는 작업 개수를 의미한다.worker는 실제로 Task를 실행하는 프로세스(작업 단위)를 의미한다.1️⃣ CPU 코어 수Celery가 CPU 연산을 많이 사용하는 작업(예: 머신러닝, 이미지 처리 등)을 실행한다면, CPU 코어 수 기준으로 설정 CPU 코어 개수적절한 concurrency 값2 코어2~44 코어4~88 코어8~.. 2025. 2. 19.

Redis 실시간 모니터링 개요테스트 진행하는데 redis를 실시간 모니터링 하려고 함진행Redis 실시간 로그Redis의 모든 요청을 실시간으로 확인하는 명령어:redis-cli monitor → Redis의 모든 작업을 실시간으로 확인한다. 너무 많은 로그가 출력되고 있어서 가독성이 좋지 않다. Celery 자체 모니터링Redis의 로그 중에서 내가 등록한 celery app에 대한 로그만 출력하고 싶어서 찾아봤는데, Celery에서 실행되는 작업을 실시간으로 확인할 수 있는 celery 자체 모니터링이 있었다.✅ celery worker 실행할 때 -E 옵션 추가해서 이벤트 로깅 활성화하기 (아니면 아무것도 안뜸)pkill -9 -f "celery worker" # 기존 워커 종료celery -A celery_tasks.c.. 2025. 2. 13.

Redis and Celery 개요Redis와 Celery의 관계를 좀 더 자세하게 정리해보려 한다.정리Redis와 Celery는 비동기 태스크 큐 시스템을 구축할 때 사용되며, 각각 메시지 브로커와 백엔드 저장소 역할을 한다.Celery비동기 작업 처리를 위한 분산 태스트 큐 시스템으로, 메시지 브로커(Message Broker)를 통해 작업 관리Producer (Client)사용자가 요청을 보냄Celery가 요청을 받아 Redis에 작업을 등록(Queue)함Broker (Redis)Celery가 실행해야 할 작업을 큐(Queue) 형태로 저장Worker가 대기하다가 작업을 가져가서 실행Worker (Celery Worker)Redis에서 작업을 꺼내 실행하고 결과를 저장여러 개의 Worker가 동시에 실행 가능 (병렬 처리)Bac.. 2025. 2. 12.

Celery를 이용한 크롤링 예제 개요Airflow와 Celery를 비교했다. 크롤링 관리 Airflow vs Celery개요기존 프로젝트의 크롤링 시스템을 Airflow로 관리했다.Airflow 운영 중이던 서버에 문제가 많았는 데, 그 중에서 제일 큰 문제는 cpu 점유율이 100으로 치솟을 때가 많았다는 것이다.Airflow로 운영bonory.tistory.com 크롤링 진행 시, Celery를 사용하는 게 더 적합하다는 판단과 함께 예제를 작성했다. FastAPI + Celery + requests + BeautifulSoup 를 활용한 크롤링 작업을 수행하는 기본적인 방법을 예제크롤링은 백그라운드에서 실행되도록 진행기본 구조FastAPI: 사용자가 API를 통해 크롤링 요청을 보냄Celery: 요청을 큐에 넣고, 백그라운드에서 .. 2025. 2. 5.

[Redis] Redis에 대한 간단한 정리 ✅ Redis ?Remote Dictionary Server의 약자* Remote : Redis가 각각의 서버 안에 로컬하게 존재하지 않고, 다수의 서버에서 공통적으로 사용할 수 있도록 원격에 존재* Dictionary : 해시맵과 같이 key-value 형태로 상수의 시간 복잡도로 사용이 가능 Redis는 표준 C로 작성된 오픈소스 인메모리 데이터 저장소이다.* 인메모리 데이터 저장소 : 백업을 제외한 모든 데이터를 램에 저장한다. 일반적으로 램은 디스크에 비해 매우 빠르기 때문에 Redis는 기본적인 관계형 데이터 베이스와 다른 구조를 가지고 있다. ✅ 특징1. In-Memory : 모든 데이터를 램에 저장2. Single Thread3. Cluster Mode : 다중 노드에 데이터를 분산 저장 .. 2023. 12. 4.

[Flower] Monitoring Celery Tasks using Flower ✅ Flower ?Flower는 Celery cluster를 모니터링하고 관리하기 위한 web 기반 tool이다. 1️⃣ 시작celery의 task를 확인해야 하니, 아래 링크를 통해 celery를 실행한다. [Celery] Celery with Redis (python) : 비동기 작업 queue✅ Celery ? celery는 분산 메시지 전달에 기반을 둔 오픈 소스 비동기 테스크 큐, 잡 큐이다. 스케줄링을 지원하지만 실시간 운영에 초점을 두고있다. 1️⃣ 시작 redis가 실행되어 있어야 한다. (아래bonory.tistory.com 2️⃣ 실행celery가 설치되어 있고, 실행 가능한 환경이면 별도의 설치없이 아래의 명령어로 바로 사용 가능하다. python3 -m celery -A [app.. 2022. 6. 20.

[Celery] Celery with Redis (python) : 비동기 작업 queue ✅ Celery ?celery는 분산 메시지 전달에 기반을 둔 오픈 소스 비동기 테스크 큐, 잡 큐이다.스케줄링을 지원하지만 실시간 운영에 초점을 두고있다. 1️⃣ 시작redis가 실행되어 있어야 한다. (아래 링크 참고) [Redis] redis를 시작하는 간단한 방법 2가지 (docker/source download)✅ Redis ? Remote Dictionary Server의 약자로서, "키-값" 구조의 비정형 데이터를 저장하고 관리하기 위한 오픈 소스 기반의 비관계형 데이터베이스 관리 시스템이다. 1️⃣ Docker 를 활용하는 방법 시작bonory.tistory.com 2️⃣ 설치pip3 install celery 3️⃣ 실행tasks.py from celery import Celeryapp .. 2022. 6. 6.

[Redis] redis를 시작하는 간단한 방법 2가지 (docker/source download) ✅ Redis ?Remote Dictionary Server의 약자로서, "키-값" 구조의 비정형 데이터를 저장하고 관리하기 위한 오픈 소스 기반의 비관계형 데이터베이스 관리 시스템이다. 1️⃣ Docker 를 활용하는 방법시작하기에 앞서 docker가 설치되어 있어야 한다. (아래 링크로 접속하여 설치) Docker Documentation docs.docker.com 터미널(혹은 iterm)에서 아래 명령어를 실행한다. docker run -p 6379:6379 redis 성공적으로 실행이 되었을 경우, 다음과 같이 확인할 수 있다. Docker에서 redis Container가 생성됨을 확인할 수 있다. 정상적으로 연결되었는지 확인하기 위해서 vscode에서 확인해보았다. def check_con.. 2022. 6. 6.

이전 1 다음

티스토리툴바