본문 바로가기

👩🏻‍💻 🌮 💬

👩🏻‍💻58

Celery를 이용한 크롤링 예제 개요Airflow와 Celery를 비교했다. 크롤링 관리 Airflow vs Celery개요기존 프로젝트의 크롤링 시스템을 Airflow로 관리했다.Airflow 운영 중이던 서버에 문제가 많았는 데, 그 중에서 제일 큰 문제는 cpu 점유율이 100으로 치솟을 때가 많았다는 것이다.Airflow로 운영bonory.tistory.com 크롤링 진행 시, Celery를 사용하는 게 더 적합하다는 판단과 함께 예제를 작성했다. FastAPI + Celery + requests + BeautifulSoup 를 활용한 크롤링 작업을 수행하는 기본적인 방법을 예제크롤링은 백그라운드에서 실행되도록 진행기본 구조FastAPI: 사용자가 API를 통해 크롤링 요청을 보냄Celery: 요청을 큐에 넣고, 백그라운드에서 .. 2025. 2. 5.

크롤링 관리 Airflow vs Celery 개요기존 프로젝트의 크롤링 시스템을 Airflow로 관리했다.Airflow 운영 중이던 서버에 문제가 많았는 데, 그 중에서 제일 큰 문제는 cpu 점유율이 100으로 치솟을 때가 많았다는 것이다.Airflow로 운영하는 것이 많이 무겁고 오버헤드가 크기 때문에 이번에 Airflow가 아닌 다른 방법으로 관리할 수 있는지에 대해 조사 및 정리를 해보려고 한다.확인Airflow는 데이터 파이프라인 및 워크플로우 관리에 최적화된 도구이다. 크롤링 같은 단순한 작업을 실행할 때에는 Celery가 더 적합하다.Airflow와 Celery를 비교해보면 비교 항목CeleryAirflow주요 목적비동기 작업 실행 (태스크 큐)데이터 워크플로우 및 파이프라인 관리작업 실행 방식빠른 실행, 단순한 작업 처리DAG 기반,.. 2025. 2. 4.

[Proxy] 리버스 프록시 Reverse Proxy 정리 개요 특정 port의 서비스에만 HTTPS 443 SSL 적용하기개요운영중인 서비스 중에서 8003 포트에만 ssl 을 적용하려고 한다.진행 요약도메인 이름이 없이 IP만 사용하는 경우 OpenSSL로 자체 서명 인증서를 생성해야 한다.NGINX를 HTTPS 처리 담당자로 두고,bonory.tistory.com8003 포트에만 https 적용하면서 리버스 프록시를 사용했다. 이 부분에 대해서 정리해보려 한다.확인Proxy 설정 코드:location / { proxy_pass http://127.0.0.1:8003; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection 'u.. 2025. 1. 24.

특정 port의 서비스에만 HTTPS 443 SSL 적용하기 개요운영중인 서비스 중에서 8003 포트에만 ssl 을 적용하려고 한다.진행 요약도메인 이름이 없이 IP만 사용하는 경우 OpenSSL로 자체 서명 인증서를 생성해야 한다.NGINX를 HTTPS 처리 담당자로 두고, 클라이언트 요청을 백엔드 서비스로 프록시해주는 방식으로 설정openssl 인증서 사용 시 “주의 요함” 경고 확인 → 무료 공인 인증서 발급 진행인증서 자동 갱신 설정진행1. openssl로 인증서 발급sudo openssl req -x509 -nodes -days 365 -newkey rsa:2048 \ -keyout /etc/ssl/private/selfsigned.key \ -out /etc/ssl/certs/selfsigned.crt-x509: 자체 서명 인증서를 생성-d.. 2025. 1. 22.

RPC vs gRPC RPC (Remote Procedure Call)프로세스 간 통신(IPC)을 위한 프로토콜로컬 환경에서 함수 호출을 하듯이 네트워크를 통해 다른 컴퓨터나 서버의 Procedure(함수)를 호출하는 개념핵심 개념: 네트워크를 통해 원격 서버의 함수나 메서드를 호출하여 결과를 받는다.작동 방식:클라이언트는 호출하려는 함수의 인터페이스를 알지만, 함수가 실제로 실행되는 서버의 위치는 추상화되어 있다.요청은 네트워크를 통해 전달되고, 결과는 반환된다.구현 방식:XML-RPCJSON-RPCSOAP 등 …장점:로컬 호출처럼 보이도록 추상화하여 개발자가 쉽게 사용 가능단점:네트워크 성능에 의존데이터 직렬화/역직렬화에 추가 비용 발생상호 운용성 제한(다른 언어나 시스템 간 연결이 복잡할 수 있다)gRPCRPC의 현대적.. 2025. 1. 14.

[MongoDB] 간단한 개념정리 개요이번에 크롤링하는 데이터를 몽고디비에 적재해달라는 요청을 받아서 진행했다.처음으로 몽고디비를 접해보는 겸 개념 정리를 해볼까 한다.몽고디비 MongoDB오픈소스이다NoSQL 데이터베이스 관리 시스템으로 데이터가 JSON 유사한 문서 형태로 저장되는게 특징이다.전통적인 관계형 데이터베이스(RDBMS)와는 달리, 스키마가 없다. 특징(1) 문서 기반(Document-oriented) 저장- 데이터를 테이블의 행(row)으로 저장하는 RDBMS와 달리, MongoDB는 BSON(Binary JOSN) 포맷의 문서로 데이터를 저장한다.- 예:{ "name": "John", "age": 30, "skills": ["Python", "JavaScript"]} (2) 스키마리스(Schema-less)- 데이.. 2025. 1. 10.

[python] gRPC 간단하게 구현해보기 네트워크 통신 프로토콜 gRPC와 websocket을 비교해보았다 [gRPC] gRPC과 websocket 비교 정리기존에 개발했던 서비스에서 클라이언트와 서버 통신을 websocket 으로 구현했다.다 끝내고나서 클라이언트, 서버 통신하는 방법을 좀 더 서치해보고 싶었다그렇게 알게된 gRPC. 정리해보자 ✅ gRPCbonory.tistory.com 익숙하지 않은 gRPC를 python으로 간단하게 구현해보았다 1. Protocol Buffers (Protobuf) 정의gRPC의 핵심은 API 인터페이스를 정의하는 Protobuf 파일이다!.proto 파일 작성한다 = 서비스와 메시지의 스키마를 정의한다 greeter.protosyntax = "proto3";service Greeter { rpc Sa.. 2025. 1. 2.

[python] PySide6로 올린 gui로 원격 서버의 파일 다운로드하기 개요이번에 진행한 프로젝트해서 2가지를 개발해야했다. 1. 원격 서버에 있는 파일을 로컬에 다운로드해야한다. (파일이 커서 오래 걸리니, progress bar로 진행 사항을 보여주자)2. PySide6로 gui를 올린다. 1️⃣ 파일 다운로드import paramikoimport timedef download_file(hostname, port, username, password, remote_file_path, local_file_path, progress_callback): try: start = time.perf_counter() ssh = paramiko.SSHClient() ssh.set_missing_host_key_policy(par.. 2024. 12. 31.

인터넷 없는 2개의 PC 통신하는 방법 개요네트워크가 안되는 환경에서 PC 2개가 통신해야 하는 상황에서 어떠한 방법을 사용할 지에 대한 search1번 PC : stt, llm이 진행되며 로봇에 전달할 명령을 return2번 PC : 로봇 시뮬레이터. 1번 PC로 부터 명령어를 전달받아 시뮬레이터로 구현한다.Socket 통신 (TCP/UDP)소켓 프로그래밍을 이용하면 1번 PC에서 반환받은 값을 2번 PC로 직접 보낼 수 있다. 로켓 네트워크에서 ip와 port로 통신이 가능하다.빠르고, 실시간 데이터 전송에 적합하다.방법은 간단하다.2번 PC에서 소켓 서버를 실행하고 특정 포트를 열어둔다.1번 PC에서 클라이언트 소켓을 통해 2번 PC의 서버로 데이터를 전송한다.python에서 socket 모듈 사용하면 됨파일 공유 방식 (SMP/NFS).. 2024. 11. 28.

이전 1 2 3 4 5 6 7 다음

티스토리툴바