본문 바로가기

👩🏻‍💻 🌮 💬

👩🏻‍💻/python12

MQTT Keep Alive 최근에 MQTT 통신 개발을 진행하면서 Keep Alive 설정에 관련한 문제를 겪었다. Status Update 하는 mqtt 클라이언트를 아래와 같이 생성하고send_status 라는 함수를 호출해서 사용하려고 했다. import paho.mqtt.client as mqttimport uuidimport timeclass RobotStatusUpdater: def __init__(self, broker_ip, topic="robot/status"): self.client = mqtt.Client(f"Robot_Status_Updater_{uuid.uuid4()}") self.client.connect(broker_ip, 1883) self.topic = to.. 2025. 3. 12.

Redis 실시간 모니터링 개요테스트 진행하는데 redis를 실시간 모니터링 하려고 함진행Redis 실시간 로그Redis의 모든 요청을 실시간으로 확인하는 명령어:redis-cli monitor → Redis의 모든 작업을 실시간으로 확인한다. 너무 많은 로그가 출력되고 있어서 가독성이 좋지 않다. Celery 자체 모니터링Redis의 로그 중에서 내가 등록한 celery app에 대한 로그만 출력하고 싶어서 찾아봤는데, Celery에서 실행되는 작업을 실시간으로 확인할 수 있는 celery 자체 모니터링이 있었다.✅ celery worker 실행할 때 -E 옵션 추가해서 이벤트 로깅 활성화하기 (아니면 아무것도 안뜸)pkill -9 -f "celery worker" # 기존 워커 종료celery -A celery_tasks.c.. 2025. 2. 13.

Redis and Celery 개요Redis와 Celery의 관계를 좀 더 자세하게 정리해보려 한다.정리Redis와 Celery는 비동기 태스크 큐 시스템을 구축할 때 사용되며, 각각 메시지 브로커와 백엔드 저장소 역할을 한다.Celery비동기 작업 처리를 위한 분산 태스트 큐 시스템으로, 메시지 브로커(Message Broker)를 통해 작업 관리Producer (Client)사용자가 요청을 보냄Celery가 요청을 받아 Redis에 작업을 등록(Queue)함Broker (Redis)Celery가 실행해야 할 작업을 큐(Queue) 형태로 저장Worker가 대기하다가 작업을 가져가서 실행Worker (Celery Worker)Redis에서 작업을 꺼내 실행하고 결과를 저장여러 개의 Worker가 동시에 실행 가능 (병렬 처리)Bac.. 2025. 2. 12.

Celery를 이용한 크롤링 예제 개요Airflow와 Celery를 비교했다. 크롤링 관리 Airflow vs Celery개요기존 프로젝트의 크롤링 시스템을 Airflow로 관리했다.Airflow 운영 중이던 서버에 문제가 많았는 데, 그 중에서 제일 큰 문제는 cpu 점유율이 100으로 치솟을 때가 많았다는 것이다.Airflow로 운영bonory.tistory.com 크롤링 진행 시, Celery를 사용하는 게 더 적합하다는 판단과 함께 예제를 작성했다. FastAPI + Celery + requests + BeautifulSoup 를 활용한 크롤링 작업을 수행하는 기본적인 방법을 예제크롤링은 백그라운드에서 실행되도록 진행기본 구조FastAPI: 사용자가 API를 통해 크롤링 요청을 보냄Celery: 요청을 큐에 넣고, 백그라운드에서 .. 2025. 2. 5.

[python] gRPC 간단하게 구현해보기 네트워크 통신 프로토콜 gRPC와 websocket을 비교해보았다 [gRPC] gRPC과 websocket 비교 정리기존에 개발했던 서비스에서 클라이언트와 서버 통신을 websocket 으로 구현했다.다 끝내고나서 클라이언트, 서버 통신하는 방법을 좀 더 서치해보고 싶었다그렇게 알게된 gRPC. 정리해보자 ✅ gRPCbonory.tistory.com 익숙하지 않은 gRPC를 python으로 간단하게 구현해보았다 1. Protocol Buffers (Protobuf) 정의gRPC의 핵심은 API 인터페이스를 정의하는 Protobuf 파일이다!.proto 파일 작성한다 = 서비스와 메시지의 스키마를 정의한다 greeter.protosyntax = "proto3";service Greeter { rpc Sa.. 2025. 1. 2.

[python] PySide6로 올린 gui로 원격 서버의 파일 다운로드하기 개요이번에 진행한 프로젝트해서 2가지를 개발해야했다. 1. 원격 서버에 있는 파일을 로컬에 다운로드해야한다. (파일이 커서 오래 걸리니, progress bar로 진행 사항을 보여주자)2. PySide6로 gui를 올린다. 1️⃣ 파일 다운로드import paramikoimport timedef download_file(hostname, port, username, password, remote_file_path, local_file_path, progress_callback): try: start = time.perf_counter() ssh = paramiko.SSHClient() ssh.set_missing_host_key_policy(par.. 2024. 12. 31.

[python] Fastapi 애플리케이션 exe 파일로 배포하기 개요웹 서비스를 코드 공개 없이 외부에서 실행할 수 있도록 exe 파일로 변환하려 함확인Fastapi 서버는 python으로 작성되어 있으므로 pyinstaller 를 사용하여 실행 파일을 패키징하려 함진행1. main.py 에서 if __name__ == "__main__": 블록으로 실행되는 uvicorn 분리하기이유pyinstaller는 application을 패키징할 때 model import 순서와 참조 방식에 영향을 받을 수 있다.if __name__ == "__main__": 블록을 정상적으로 인식하지 못해서 ASGI 서버(즉, uvicorn)를 실행하지 못한다.진행main.py 에서는 단순히 Fastapi 애플리케이션을 정의하는 역할만 하고, run_server.py에서 main.py를 m.. 2024. 11. 5.

[python] socket 동시 연결 최근에 개발한 기능 중에 2개의 로봇과 socket 통신이 있었다.2개의 로봇에 동시에 요청이 들어가면 1번 로봇 → 2번 로봇 이렇게 순서대로 진행되어서동시에 진행되도록 해보려고 한다.확인멀티스레드 방식, 비동기 방식 두가지가 있다.멀티스레드멀티스레드를 사용하면 각 소켓 연결을 별도의 스레드에서 처리하여 두 개의 연결을 동시에 관리할 수 있다import socketimport threading# 첫 번째 소켓 연결 함수def connect_to_robot_a(): s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) s.connect(('123.123.123.123', 65432)) # 데이터 전송 예시 data = "Hello from .. 2024. 10. 22.

[python] fastapi 실시간 스트리밍 이미지 송출 이번에 새로 진행한 프로젝트의 기능 중 하나는 얼굴 인식으로 하는 로그인 기능이었다얼굴 인식하는 model은 cvteam에서 받아서 나는 ui에 기능만 구현하면 되는 상황main.pyfrom fastapi import FastAPIfrom fastapi.responses import StreamingResponseimport cv2app = FastAPI()def generate_frames(): cap = cv2.VideoCapture(0) while True: success, frame = cap.read() if not success: break ret, buffer = cv2.imencode('.jpg', frame) .. 2024. 10. 21.

이전 1 2 다음

티스토리툴바