Bono-end

✨ new ✨

이전다음

🔥 hot 🔥

• [python] TypeError: 'type' object is not subscriptable ✅ 개요 python3.8 환경에서 코드를 실행시키니 아래와 같은 에러와 함께 실행이 안되었다TypeError: 'type' object is not subscriptable 오류가 발생하는 지점을 보니def test_function1() -> list[str]: ... def test_function2() -> dict: 타입 힌트를 지정할 때 생기는 오류원인을 확인해보니, typing 힌트는 python3.9부터 지원하고 있다 ✅ 방법 1사용하는 python 을 3.9로 업데이트하는 방법이 있고 ✅ 방법2python typing 라이브러리를 사용하여 지정해주면 된다.python 버전 업은 큰 맘 먹고해야하니 이 방법을 강추한다.from typing import List, Dictdef test_.. 2024.05.02

• 

  [python] 네이버 카페 크롤링 네이버 카페 게시글을 크롤링 하려 한다. python requests를 이용해서 가지고 오려고 했으나 회원님의 안전한 서비스 이용을 위해 비밀번호를 확인해 주세요. IP가 자주 변경되는 네트워크 환경에서 로그인하는 경우 IP보안을 해제 후 이용하시기 바랍니다. 다시 한번 비밀번호 확인 하시면 이용중인 화면으로 돌아가며, 작성 중이던 내용을 정상적으로 전송 또는 등록하실 수 있습니다. 이렇게 접근할 수 없음을 알 수 있다. 이렇게 되면 selenium을 이용해서 동적으로 접근하기로 한다. 로그인 id 와 password를 입력해서 아래의 코드를 실행하면 로그인이 진행됨을 알 수 있다. import time from selenium import webdriver import csv import pandas .. 2024.01.30

• 

  [Airflow] local에서 간단하게 시작하기 개요airflow 관련해서 간단하게 테스트하기 위해서 로컬해서 실행하는 방법을 정리하려한다진행Step 1. 가상 환경필수 사항은 아니지만 pip 버전으로 크게 골치 아프고 싶지 않기에 무조건적으로 set up 해준다# Create a virtual environmentpython3 -m venv airflow-venv# Activate the virtual environmentsource airflow-venv/bin/activate Step 2. Apache Airflow 설치pip을 이용해서 설치해준다.AIRFLOW_VERSION=2.5.1PYTHON_VERSION="$(python --version | cut -d " " -f 2 | cut -d "." -f 1-2)"CONSTRAINT_URL=".. 2024.07.30

• 

  [Safari] http 요청을 https로 강제 전환해버리는 문제 | fastapi, uvicorn 기존에 진행되어서 배포된 프로젝트에서 safari로 접속시 버그가 있다는 제보에 local에서 실행시키고 localhost로 접속을 시도했다. WARNING: Invalid HTTP request received. Traceback (most recent call last): File "/Users/{myname}/Desktop/project/{projectname}/venv/lib/python3.8/site-packages/uvicorn/protocols/http/httptools_impl.py", line 131, in data_received self.parser.feed_data(data) File "httptools/parser/parser.pyx", line 212, in httptools.p.. 2024.03.27

• 

  nginx에 mTLS 인증서 발급하고 검증하기 mTLS 란?mTLS는 "Mutual Transport Layer Security"의 약자로, 클라이언트와 서버 간의 상호 인증을 위한 TLS(Transport Layer Security) 프로토콜의 확장이다. 일반적인 TLS는 서버만 인증하는 반면, mTLS는 클라이언트와 서버 모두가 서로를 인증하는 방식이다. 이를 통해 더 높은 수준의 보안이 제공된다. mTLS의 작동 방식은 서버 인증, 클라이언트 인증, 상호 인증 완료 로 진행되어야 한다. 1. 서버 인증 : 클라이언트 서버의 SSL/TLS 인증서를 확인하여 서버의 신원을 검증한다. 이는 일반적인 TLS 연결에서 이루어지는 단계이다.2. 클라이언트 인증 : 서버 또한 클라이언트로부터 인증서를 요청한다. 클라이언트는 자신의 인증서를 서버에 제출하여 .. 2024.08.16

• 

  [Airflow] The scheduler does not appear to be running. Last heartbeat was received 7 hours ago.The DAGs list may not update, and new tasks will not be scheduled. 잘 운영되던 Airflow가 갑자기 멈춘것 같다는 얘기를 듣고 봤더니 엥 ~ ?? 내 DAG 들 다 오디감 ?The scheduler does not appear to be running. Last heartbeat was received 7 hours ago.The DAGs list may not update, and new tasks will not be scheduled. >> 해석스케줄러가 실행 중이 아닌 것 같음. 마지막은 7시간 전에 수신되었음.DAG 목록이 업데이트되지 않을 수 있으며 새 작업이 예약되지 않음. Airflow 기능 중에 health 확인할 수 있는 방법이 있어서 한번 사용해보았당/health health 한지 unhealthy 한지 확인할 수 있다. 진짜 이유는 memory .. 2024.03.08

• 

  [gRPC] gRPC과 websocket 비교 정리 기존에 개발했던 서비스에서 클라이언트와 서버 통신을 websocket 으로 구현했다.다 끝내고나서 클라이언트, 서버 통신하는 방법을 좀 더 서치해보고 싶었다그렇게 알게된 gRPC. 정리해보자 ✅ gRPC와 WebSocketgRPC와 WebSocket은 둘 다 네트워크 통신 프로토콜로, 실시간 데이터 전송과 클라이언트-서버 간 상호작용을 가능하게 함gRPCGoogle이 개발한 RPC(Remote Procedure Call) 프레임워크HTTP/2 기반으로 동작하며, 프로토콜 버퍼(Protocol Buffers, Protobuf)를 사용하여 데이터 직렬화를 수행클라이언트는 서버의 메서드를 호출하듯이 원격으로 기능을 실행WebSocketHTML5 표준으로, TCP 소켓 연결을 통해 양방향 통신을 가능하게 함프로.. 2024.11.25

• 

  [linux] E: Package 'python3-pip' has no installation candidate AWS에서 ec2 instance를 생성하고 pip을 설치하려고 하니까 다음과 같은 에러가 발생했다. $ sudo apt install python3-pip E: Package 'python3-pip' has no installation candidate pip이 후보군에 없다는 것이다. 이렇게 되면 apt update를 진행한다. sudo apt update sudo apt install python3-pip 이젠 pip이 잘 설치된다. 설치가 다 될때 쯤에 처음보는 게 나왔다. 개발인생 중에 처음 보는 광경 default로 지정하고 넘어감 2024.02.28

• 

  [Docker] Dockerfile COPY와 Mount 비교 개요file과 directory를 image build할 때 Dockerfile에서 COPY하는 것과 Docker container를 생성할 때 Mount하는 것을 비교하고 구분해 보려고 한다.Dockerfile에서 COPYCOPY는 build 시점에 host file/directory를 container image 안으로 복사한다.container 실행 시, Mount와 달리 파일이 컨테이너 이미지의 일부가 된다.container가 독립적으로 실행되거나 배포되는 경우 유용하다container 실행 시 항상 동일한 파일이 필요할 때공유 directory 없이 container 단독으로 실행되도록 하고 싶을 때예시)COPY ./app /app MountMount는 host 시스템의 파일/디렉토리를 cont.. 2024.11.20

• 

  [Airflow] airflow ui에서 arguments 전달하기 개요Airflow의 Task들은 스케줄링으로 관리하고 있다.하지만 단발성으로 실행되어야하는 Task들도 존재한다.초기 데이터 적재 혹은 재적재 이슈로 인해..이러한 경우에 Arguments을 전달하고 싶을 때 어떻게 해야할까 찾아보았다.진행BashOperator, PythonOperator 두가지 방법으로 테스트해보았다.from datetime import datetime, timedeltafrom airflow import DAGfrom pendulum.tz.timezone import Timezonefrom airflow.operators.bash import BashOperatorfrom airflow.operators.python import PythonOperatorfrom airflow.ope.. 2024.07.11

more