분류 전체보기151 [Airflow] airflow ui에서 arguments 전달하기 개요Airflow의 Task들은 스케줄링으로 관리하고 있다.하지만 단발성으로 실행되어야하는 Task들도 존재한다.초기 데이터 적재 혹은 재적재 이슈로 인해..이러한 경우에 Arguments을 전달하고 싶을 때 어떻게 해야할까 찾아보았다.진행BashOperator, PythonOperator 두가지 방법으로 테스트해보았다.from datetime import datetime, timedeltafrom airflow import DAGfrom pendulum.tz.timezone import Timezonefrom airflow.operators.bash import BashOperatorfrom airflow.operators.python import PythonOperatorfrom airflow.ope.. 2024. 7. 11. [Airflow] RemovedInAirflow3Warning: Fetching SMTP credentials from configuration variables will be deprecated in a future release. Please set credentials using a connection instead. 개요airflow 옮기는 작업 중에 error 발생RemovedInAirflow3Warning: Fetching SMTP credentials from configuration variables will be deprecated in a future release. Please set credentials using a connection instead. 확인 airflow 진행 사항을 이메일로 받는데, 그 이메일 인증 관련해서 생긴 문제## docker-compose.yaml# For SMTPAIRFLOW__SMTP__SMTP_HOST: smtp.gmail.comAIRFLOW__SMTP__SMTP_PORT: 587AIRFLOW__SMTP__SMTP_RETRY_LIMIT: 5AIRFLOW__SMTP__S.. 2024. 5. 29. [python] TypeError: 'type' object is not subscriptable ✅ 개요 python3.8 환경에서 코드를 실행시키니 아래와 같은 에러와 함께 실행이 안되었다TypeError: 'type' object is not subscriptable 오류가 발생하는 지점을 보니def test_function1() -> list[str]: ... def test_function2() -> dict: 타입 힌트를 지정할 때 생기는 오류원인을 확인해보니, typing 힌트는 python3.9부터 지원하고 있다 ✅ 방법 1사용하는 python 을 3.9로 업데이트하는 방법이 있고 ✅ 방법2python typing 라이브러리를 사용하여 지정해주면 된다.python 버전 업은 큰 맘 먹고해야하니 이 방법을 강추한다.from typing import List, Dictdef test_.. 2024. 5. 2. [Safari] http 요청을 https로 강제 전환해버리는 문제 | fastapi, uvicorn 기존에 진행되어서 배포된 프로젝트에서 safari로 접속시 버그가 있다는 제보에 local에서 실행시키고 localhost로 접속을 시도했다. WARNING: Invalid HTTP request received. Traceback (most recent call last): File "/Users/{myname}/Desktop/project/{projectname}/venv/lib/python3.8/site-packages/uvicorn/protocols/http/httptools_impl.py", line 131, in data_received self.parser.feed_data(data) File "httptools/parser/parser.pyx", line 212, in httptools.p.. 2024. 3. 27. [SQLD] 비전공자 현직자의 공부 후기 이번에 2024년 3월 9일에 시행된 SQLD 52회 시험을 응시했다 나는 지금 2년차 개발자인 현직자이며, 비전공자이다. 급하게 공부하기 싫어서 기간은 3주 정도로 잡았으며 평일에는 하루 1-2시간 정도만 공부하고, 주말에는 3-4시간 정도 시간을 투자했다. 1️⃣ 책 구매 제일 유명한 노랭이책을 구매했다. SQLD 준비하면 무조건 이 책을 사야한다는 사람, 굳이 필요없다는 사람이 있었지만 SQLD 내에서는 '수학의 정석'으로 불리고 있었기에 yes24로 바로 구매했다. 근데 알다시피 이 책에는 문제밖에 없다. 이론이 따로 없는데 이론 책은 따로 사고 싶지 않았다. 2️⃣ 이론 공부 책을 사지않고 어떻게 개념 공부를 할 수 있을까 찾아보다가 데이터 전문가 포럼 (빅데이터분석기사... : 네이버 카페 빅.. 2024. 3. 11. [Airflow] The scheduler does not appear to be running. Last heartbeat was received 7 hours ago.The DAGs list may not update, and new tasks will not be scheduled. 잘 운영되던 Airflow가 갑자기 멈춘것 같다는 얘기를 듣고 봤더니 엥 ~ ?? 내 DAG 들 다 오디감 ?The scheduler does not appear to be running. Last heartbeat was received 7 hours ago.The DAGs list may not update, and new tasks will not be scheduled. >> 해석스케줄러가 실행 중이 아닌 것 같음. 마지막은 7시간 전에 수신되었음.DAG 목록이 업데이트되지 않을 수 있으며 새 작업이 예약되지 않음. Airflow 기능 중에 health 확인할 수 있는 방법이 있어서 한번 사용해보았당/health health 한지 unhealthy 한지 확인할 수 있다. 진짜 이유는 memory .. 2024. 3. 8. [MQTT] message를 안보내는데 계속 message가 쌓이는 issue 사실 이건 문제까지는 아니고, 좀 더 자세하게 알고 싶었다.저번 포스팅에서는 mqtt explorer 에 연결을 했다. [MQTT] mqtt client에 connect 안되는 문제ec2 instance를 생성하고 mosquitto를 실행시켰다. 그리고 mqtt connection tool를 사용하여 연결을 시도하니, 연결이 불가능했다 Starting in local only mode. Connections will only possible from clients running on this machine.bonory.tistory.com 연결을 하고 보니,나 연결만 하고 아무 것도 안했는데 ?! 자꾸 몇초 간격으로 message가 쌓이는 것 처럼 숫자가 계속 늘어났다.뭐지 ??????? 한번 확인해보.. 2024. 3. 7. [MQTT] mqtt client에 connect 안되는 문제 ec2 instance를 생성하고 mosquitto를 실행시켰다.그리고 mqtt connection tool를 사용하여 연결을 시도하니, 연결이 불가능했다 Starting in local only mode. Connections will only possible from clients running on this machine.로컬 모드에서만 가능하며Create a configuration file which defines a listener to allow remote access.원격 엑세스를 config를 create 하라고 하는 것 같다 첫번째, mosquitto config를 수정한다.linux라면 /etc/mosquitto/mosquitto.conf 에 위치한다. 이렇게 설정되어있는데, 아.. 2024. 3. 6. [docker] docker.errors.APIError: 500 Server Error for http+docker://~/start: Internal Server Error ("write /home/~/tmpfile: no space left on device) 잘 운영되던 docker가 down 되면서 서비스가 중지되었다. docker가 떨어뜨린 에러 메세지는 다음과 같다 docker.errors.APIError: 500 Server Error for http+docker://localhost/v1.42/containers/11f76378c2673eed151a57ac10227a419decbbee234c52c9afe74c7643754ad8/start: Internal Server Error ("write /home/ubuntu/.local/share/docker/containers/11f76378c2673eed151a57ac10227a419decbbee234c52c9afe74c7643754ad8/.tmp-hostconfig.json1581200925: no sp.. 2024. 3. 4. 이전 1 ··· 5 6 7 8 9 10 11 ··· 17 다음
