본문 바로가기

👩🏻‍💻 🌮 💬

👩🏻‍💻/airflow5

크롤링 관리 Airflow vs Celery 개요기존 프로젝트의 크롤링 시스템을 Airflow로 관리했다.Airflow 운영 중이던 서버에 문제가 많았는 데, 그 중에서 제일 큰 문제는 cpu 점유율이 100으로 치솟을 때가 많았다는 것이다.Airflow로 운영하는 것이 많이 무겁고 오버헤드가 크기 때문에 이번에 Airflow가 아닌 다른 방법으로 관리할 수 있는지에 대해 조사 및 정리를 해보려고 한다.확인Airflow는 데이터 파이프라인 및 워크플로우 관리에 최적화된 도구이다. 크롤링 같은 단순한 작업을 실행할 때에는 Celery가 더 적합하다.Airflow와 Celery를 비교해보면 비교 항목CeleryAirflow주요 목적비동기 작업 실행 (태스크 큐)데이터 워크플로우 및 파이프라인 관리작업 실행 방식빠른 실행, 단순한 작업 처리DAG 기반,.. 2025. 2. 4.

[Airflow] local에서 간단하게 시작하기 개요airflow 관련해서 간단하게 테스트하기 위해서 로컬해서 실행하는 방법을 정리하려한다진행Step 1. 가상 환경필수 사항은 아니지만 pip 버전으로 크게 골치 아프고 싶지 않기에 무조건적으로 set up 해준다# Create a virtual environmentpython3 -m venv airflow-venv# Activate the virtual environmentsource airflow-venv/bin/activate Step 2. Apache Airflow 설치pip을 이용해서 설치해준다.AIRFLOW_VERSION=2.5.1PYTHON_VERSION="$(python --version | cut -d " " -f 2 | cut -d "." -f 1-2)"CONSTRAINT_URL=".. 2024. 7. 30.

[Airflow] airflow ui에서 arguments 전달하기 개요Airflow의 Task들은 스케줄링으로 관리하고 있다.하지만 단발성으로 실행되어야하는 Task들도 존재한다.초기 데이터 적재 혹은 재적재 이슈로 인해..이러한 경우에 Arguments을 전달하고 싶을 때 어떻게 해야할까 찾아보았다.진행BashOperator, PythonOperator 두가지 방법으로 테스트해보았다.from datetime import datetime, timedeltafrom airflow import DAGfrom pendulum.tz.timezone import Timezonefrom airflow.operators.bash import BashOperatorfrom airflow.operators.python import PythonOperatorfrom airflow.ope.. 2024. 7. 11.

[Airflow] RemovedInAirflow3Warning: Fetching SMTP credentials from configuration variables will be deprecated in a future release. Please set credentials using a connection instead. 개요airflow 옮기는 작업 중에 error 발생RemovedInAirflow3Warning: Fetching SMTP credentials from configuration variables will be deprecated in a future release. Please set credentials using a connection instead. 확인 airflow 진행 사항을 이메일로 받는데, 그 이메일 인증 관련해서 생긴 문제## docker-compose.yaml# For SMTPAIRFLOW__SMTP__SMTP_HOST: smtp.gmail.comAIRFLOW__SMTP__SMTP_PORT: 587AIRFLOW__SMTP__SMTP_RETRY_LIMIT: 5AIRFLOW__SMTP__S.. 2024. 5. 29.

[Airflow] The scheduler does not appear to be running. Last heartbeat was received 7 hours ago.The DAGs list may not update, and new tasks will not be scheduled. 잘 운영되던 Airflow가 갑자기 멈춘것 같다는 얘기를 듣고 봤더니 엥 ~ ?? 내 DAG 들 다 오디감 ?The scheduler does not appear to be running. Last heartbeat was received 7 hours ago.The DAGs list may not update, and new tasks will not be scheduled. >> 해석스케줄러가 실행 중이 아닌 것 같음. 마지막은 7시간 전에 수신되었음.DAG 목록이 업데이트되지 않을 수 있으며 새 작업이 예약되지 않음. Airflow 기능 중에 health 확인할 수 있는 방법이 있어서 한번 사용해보았당/health health 한지 unhealthy 한지 확인할 수 있다. 진짜 이유는 memory .. 2024. 3. 8.

이전 1 다음

티스토리툴바