[Airflow] local에서 간단하게 시작하기

개요

airflow 관련해서 간단하게 테스트하기 위해서 로컬해서 실행하는 방법을 정리하려한다

진행

Step 1. 가상 환경

필수 사항은 아니지만 pip 버전으로 크게 골치 아프고 싶지 않기에 무조건적으로 set up 해준다

# Create a virtual environment
python3 -m venv airflow-venv

# Activate the virtual environment
source airflow-venv/bin/activate

 

Step 2. Apache Airflow 설치

pip을 이용해서 설치해준다.

AIRFLOW_VERSION=2.5.1
PYTHON_VERSION="$(python --version | cut -d " " -f 2 | cut -d "." -f 1-2)"
CONSTRAINT_URL="https://raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-${PYTHON_VERSION}.txt"

pip3 install "apache-airflow==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}"

 

Step 3. Airflow Database 초기화

Airflow 데이터베이스 초기화는 Airflow가 작동하기 위한 필수적인 인프라를 설정하는 기본 단계다.

초기화를 통해 모든 메타데이터, 구성 및 추적 정보를 저장하고 관리하여 scheduler와 web interface가 예상대로 작동할 수 있도록 보장한다. 이 단계를 생략하면 Airflow는 워크플로우를 관리하거나 실행할 수 없다.

# Initialize the Airflow database
airflow db init

 

Step 4. Admin 계정 추가

airflow ui에 접근할 username, password를 아래에서 설정해준다.

나는 admin, admin으로 설정했다. 수정 가능하다.

# Create an admin user
airflow users create \
    --username admin \
    --password admin \
    --firstname Admin \
    --lastname User \
    --role Admin \
    --email admin@example.com

 

Step 5. Airflow Web Server 와 Scheduler 실행

첫번째 터미널에서 web server를 실행시킨다.

* web server는 사용자가 DAG 및 작업을 모니터링하고 관리할 수 있도록 ui를 제공하고, airlow 설정 및 구성을 편리하게 관리할 수 있는 도구를 제공한다.

# Start the web server
airflow webserver --port 8080

 

두번째 터미널에서 scheduler를 실행시킨다.

* scheduler는 작업의 스케줄링과 실행을 담당한다. DAG에 정의된 일정에 따라 작업을 실행하고, 작업 간의 의존성을 관리하고 적절한 순서로 실행하고, 작업 상태를 추적하고 업데이트한다.

# Start the scheduler
airflow scheduler

 

Step 6. Airflow Web 인터페이스에 접근

 

web server 실행시킬 때 설정한 포트 8080으로 접근하면 된다. http://localhost:8080

그리고 user 생성할 때 설정한 username, password를 입력하면 접근 가능하다.