본문 바로가기

👩🏻‍💻 🌮 💬

👩🏻‍💻32

MQTT Keep Alive 최근에 MQTT 통신 개발을 진행하면서 Keep Alive 설정에 관련한 문제를 겪었다. Status Update 하는 mqtt 클라이언트를 아래와 같이 생성하고send_status 라는 함수를 호출해서 사용하려고 했다. import paho.mqtt.client as mqttimport uuidimport timeclass RobotStatusUpdater: def __init__(self, broker_ip, topic="robot/status"): self.client = mqtt.Client(f"Robot_Status_Updater_{uuid.uuid4()}") self.client.connect(broker_ip, 1883) self.topic = to.. 2025. 3. 12.

[MQTT] pc 2개 통신 (python, 양방향 통신) 개요PC 2개가 있다.하나는 User가 업무를 요청하고, 나머지 하나는 Robot이 그 업무를 받아서 실시간 상태를 User가 알 수 있도록 업데이트를 해줄 것이다.전 프로젝트에서는 Robot이 하나 뿐이라서 socket으로 연결을 했다.이번에는 Robot이 추가로 더 늘어날 가능성을 염두해서 MQTT를 활용하려고 한다. 편히 PC, Robot이라고 칭하겠다.PC → Robot : 수행할 작업 (텍스트 형식) 전달Robot → PC : 작업 상태 (실시간 업데이트) 전달 구조PC는 작업지시를 발행하고, 로봇은 이를 구독로봇은 상태를 발행하고, PC는 이를 구독하여 실시간으로 상태를 확인Topic 설계PC → Robot: "robot/task"Robot → PC: "robot/status" 간단한 코드 구.. 2025. 2. 25.

[MQTT] Mac mosquitto 설치 / 실행 / 중지 1. mosquitto 설치brew install mosquitto 2. mosquitto 서비스 실행brew services start mosquitto 3. mosquitto 서비스 중지brew services stop mosquitto 메세지 확인은 MQTT Explorer 사용했다. 연결 잘됨 ~ 2025. 2. 25.

코드 품질 관리 코드 품질을 유지하기 위해 사용할 여러 가지 도구에 대해서 정리했다.사용할 코드 품질 도구Sonar : 코드 품질 분석, 보안 취약점 탐지Black : 코드 스타일 자동 포맷팅Flake8 : 정적 코드 분석 (PEP 8, 문법 오류 검사)isort : import 문 자동 정렬pytest : Python 테스트 프레임 워크 1️⃣ Sonar (SonarQube / SonarCloud)Sonar는 코드 품질을 분석하는 정적 코드 분석 도구SonarQube, SonarCloud 두 가지 형태로 제공✔ 사용 방법로컬에서 SonarQube를 설치하고 실행 (sonarqube + sonar-scanner 사용)CI/CD 환경에서는 SonarCloud를 이용하여 분석sonar-scanner \ -Dsonar.pr.. 2025. 2. 20.

[Celery] 간단하게 성능 체크 실행 후 CPU 사용량 및 Celery Worker 상태를 모니터링하려 한다. ✔ Celery Worker 프로세스 확인ps aux | grep "celery worker" ✔ CPU & 메모리 사용량 체크htop ✔ Redis에 대기 중인 작업 확인redis-cli llen celery → 만약 대기 중인 작업 개수 확인하고 적절한 concurrency 조정→ 메모리 사용량도 고려해서 concurrency 조정 2025. 2. 19.

[Celery] 적절한 concurrency 값 설정하기 개요Celery에서 concurrency 값은 한 번에 몇개의 작업을 동시에 실행할지 결정하는 중요한 설정이다.적절한 concurrency 값은 어떻게 설정할까 .. (하드웨어, 워크로드, 작업 특성에 따라 다르다!)확인concurrencyCelery는 기본적으로 Prefork (multiprocessing) 모드를 사용concurrency는 각 worker가 동시에 처리할 수 있는 작업 개수를 의미한다.worker는 실제로 Task를 실행하는 프로세스(작업 단위)를 의미한다.1️⃣ CPU 코어 수Celery가 CPU 연산을 많이 사용하는 작업(예: 머신러닝, 이미지 처리 등)을 실행한다면, CPU 코어 수 기준으로 설정 CPU 코어 개수적절한 concurrency 값2 코어2~44 코어4~88 코어8~.. 2025. 2. 19.

Redis 실시간 모니터링 개요테스트 진행하는데 redis를 실시간 모니터링 하려고 함진행Redis 실시간 로그Redis의 모든 요청을 실시간으로 확인하는 명령어:redis-cli monitor → Redis의 모든 작업을 실시간으로 확인한다. 너무 많은 로그가 출력되고 있어서 가독성이 좋지 않다. Celery 자체 모니터링Redis의 로그 중에서 내가 등록한 celery app에 대한 로그만 출력하고 싶어서 찾아봤는데, Celery에서 실행되는 작업을 실시간으로 확인할 수 있는 celery 자체 모니터링이 있었다.✅ celery worker 실행할 때 -E 옵션 추가해서 이벤트 로깅 활성화하기 (아니면 아무것도 안뜸)pkill -9 -f "celery worker" # 기존 워커 종료celery -A celery_tasks.c.. 2025. 2. 13.

Redis and Celery 개요Redis와 Celery의 관계를 좀 더 자세하게 정리해보려 한다.정리Redis와 Celery는 비동기 태스크 큐 시스템을 구축할 때 사용되며, 각각 메시지 브로커와 백엔드 저장소 역할을 한다.Celery비동기 작업 처리를 위한 분산 태스트 큐 시스템으로, 메시지 브로커(Message Broker)를 통해 작업 관리Producer (Client)사용자가 요청을 보냄Celery가 요청을 받아 Redis에 작업을 등록(Queue)함Broker (Redis)Celery가 실행해야 할 작업을 큐(Queue) 형태로 저장Worker가 대기하다가 작업을 가져가서 실행Worker (Celery Worker)Redis에서 작업을 꺼내 실행하고 결과를 저장여러 개의 Worker가 동시에 실행 가능 (병렬 처리)Bac.. 2025. 2. 12.

Celery를 이용한 크롤링 예제 개요Airflow와 Celery를 비교했다. 크롤링 관리 Airflow vs Celery개요기존 프로젝트의 크롤링 시스템을 Airflow로 관리했다.Airflow 운영 중이던 서버에 문제가 많았는 데, 그 중에서 제일 큰 문제는 cpu 점유율이 100으로 치솟을 때가 많았다는 것이다.Airflow로 운영bonory.tistory.com 크롤링 진행 시, Celery를 사용하는 게 더 적합하다는 판단과 함께 예제를 작성했다. FastAPI + Celery + requests + BeautifulSoup 를 활용한 크롤링 작업을 수행하는 기본적인 방법을 예제크롤링은 백그라운드에서 실행되도록 진행기본 구조FastAPI: 사용자가 API를 통해 크롤링 요청을 보냄Celery: 요청을 큐에 넣고, 백그라운드에서 .. 2025. 2. 5.

이전 1 2 3 4 다음

티스토리툴바