본문 바로가기

👩🏻‍💻 🌮 💬

👩🏻‍💻32

[Airflow] RemovedInAirflow3Warning: Fetching SMTP credentials from configuration variables will be deprecated in a future release. Please set credentials using a connection instead. 개요airflow 옮기는 작업 중에 error 발생RemovedInAirflow3Warning: Fetching SMTP credentials from configuration variables will be deprecated in a future release. Please set credentials using a connection instead. 확인 airflow 진행 사항을 이메일로 받는데, 그 이메일 인증 관련해서 생긴 문제## docker-compose.yaml# For SMTPAIRFLOW__SMTP__SMTP_HOST: smtp.gmail.comAIRFLOW__SMTP__SMTP_PORT: 587AIRFLOW__SMTP__SMTP_RETRY_LIMIT: 5AIRFLOW__SMTP__S.. 2024. 5. 29.

[python] TypeError: 'type' object is not subscriptable ✅ 개요 python3.8 환경에서 코드를 실행시키니 아래와 같은 에러와 함께 실행이 안되었다TypeError: 'type' object is not subscriptable 오류가 발생하는 지점을 보니def test_function1() -> list[str]: ... def test_function2() -> dict: 타입 힌트를 지정할 때 생기는 오류원인을 확인해보니, typing 힌트는 python3.9부터 지원하고 있다 ✅ 방법 1사용하는 python 을 3.9로 업데이트하는 방법이 있고 ✅ 방법2python typing 라이브러리를 사용하여 지정해주면 된다.python 버전 업은 큰 맘 먹고해야하니 이 방법을 강추한다.from typing import List, Dictdef test_.. 2024. 5. 2.

[Airflow] The scheduler does not appear to be running. Last heartbeat was received 7 hours ago.The DAGs list may not update, and new tasks will not be scheduled. 잘 운영되던 Airflow가 갑자기 멈춘것 같다는 얘기를 듣고 봤더니 엥 ~ ?? 내 DAG 들 다 오디감 ?The scheduler does not appear to be running. Last heartbeat was received 7 hours ago.The DAGs list may not update, and new tasks will not be scheduled. >> 해석스케줄러가 실행 중이 아닌 것 같음. 마지막은 7시간 전에 수신되었음.DAG 목록이 업데이트되지 않을 수 있으며 새 작업이 예약되지 않음. Airflow 기능 중에 health 확인할 수 있는 방법이 있어서 한번 사용해보았당/health health 한지 unhealthy 한지 확인할 수 있다. 진짜 이유는 memory .. 2024. 3. 8.

[python] Received response with content-encoding: gzip, but failed to decode it. 에러 : Received response with content-encoding: gzip, but failed to decode it.', error('Error -3 while decompressing data: incorrect data check') res = requests.get( page_url, headers={ 'User-Agent': utils.get_random_agent() }, timeout=10 ) content = res.content 위와 같이 요청시, 아래와 같은 메세지와 함께 크롤링이 진행이 불가한 상황이 발생했다. # error Received response with content-encoding: gzip, but failed to decode it.', error(.. 2024. 2. 19.

[python] 네이버 카페 크롤링 네이버 카페 게시글을 크롤링 하려 한다. python requests를 이용해서 가지고 오려고 했으나 회원님의 안전한 서비스 이용을 위해 비밀번호를 확인해 주세요. IP가 자주 변경되는 네트워크 환경에서 로그인하는 경우 IP보안을 해제 후 이용하시기 바랍니다. 다시 한번 비밀번호 확인 하시면 이용중인 화면으로 돌아가며, 작성 중이던 내용을 정상적으로 전송 또는 등록하실 수 있습니다. 이렇게 접근할 수 없음을 알 수 있다. 이렇게 되면 selenium을 이용해서 동적으로 접근하기로 한다. 로그인 id 와 password를 입력해서 아래의 코드를 실행하면 로그인이 진행됨을 알 수 있다. import time from selenium import webdriver import csv import pandas .. 2024. 1. 30.

이전 1 2 3 4 다음

티스토리툴바