✨ new ✨
-
[Airflow] TriggerDagRunOperator 사용할 때 duplicate key value violates unique constraint "dag_run_dag_id_execution_date_key"
개요Airflow을 활용하여 크롤링을 진행하고 있었다.하나의 DAG가 특정 DAG를 한번에 여러번 trigger 하는 프로세스인데지금 계속 크롤링 사이트가 늘어나는 과정에 있었다. 크롤링 사이트가 300개 가까이 늘어나고, 하나의 DAG를 300개 가까이 호출하다가 오류가 발생했다. 에러는 trigger_internal_dag task가 Fail 확인해보자error message: run_id 중복 오류sqlalchemy.exc.IntegrityError: (psycopg2.errors.UniqueViolation) duplicate key value violates unique constraint "dag_run_dag_id_execution_date_key" trigger_internal_dag은..
2025.09.14
-
PDF에 있는 text를 빠르게 가지고 오자 ! feat. 시간복잡도
회사 프로젝트 중 .. 크롤링을 하고 있었다뉴스 기사들을 가지고 오는 크롤링이었는데,기사 내에 pdf가 있으면 파일을 다운받아서 간단하게 text만 추출해서 DB에 넣어준다. 근데 pdf가 있는 기사와 없는 기사를 스크리핑하는데 시간 차이가 많이 난다고 느꼈다.그래서 함수를 찾아갔다. 기존에 있던 코드:def current_extract_pdf_text(pdf_url): start_time = perf_counter() response = requests.get(pdf_url, headers={'User-Agent': random.choice(user_agents)}) response.encoding = response.apparent_encoding response.rais..
2025.07.23
-
[MySQL] 뉴스 기사 NER 검색 구조 개선기 - 성능과 유지보수성의 균형 맞추기
최근에 새로운 프로젝트에 투입이 되었다.혼자 1,000여개의 사이트를 크롤링해야하는 시스템을 만들어야했다.프로젝트에 배정되었을 때 너무 너무 많은 범위를 혼자 진행해야해서 막막했지만내가 처음부터 주도적으로 할 수 있다는게 얼마나 큰 기회인가! 좋은 기회이니 애정을 가지고 잘 진행해보려한다.완전 새로운 프로젝트는 아니고, 예전에 진행했던 것과 비슷하지만 맨땅부터 시작해야했다.그럼 더 좋다. 개선하고 싶은 부분들이 있었다. 처음으로 바로 개선하고 싶은 부분은 데이터 베이스 쪽이었다. 문제 상황 : 느린 NER 검색크롤링한 뉴스 기사 데이터를 DB에 저장하고, 각 기사별로 NER(Named Entity Recognition) 결과를 리스트 형태로 TEXT 컬럼에 저장하고 있었다. → ner에 ["키워드1", ..
2025.07.23
-
[SSH] SSH 세션에 따라 환경 변수가 다른 이슈
개요같은 서버에서A PC → SSH 접속 → 앱 실행 시 cuDNN 에러 + core dumpB PC → SSH 접속 → 동일 앱 실행 시 정상 작동 확인B PC에서는 fastapi 앱이 정상적으로 실행되는데, A PC에서는 동일 앱 실행 시 아래와 같은 에러메세지가 출력된다.Unable to load any of {libcudnn_cnn.so.9.1.0, libcudnn_cnn.so.9.1, libcudnn_cnn.so.9, libcudnn_cnn.so}Invalid handle. Cannot load symbol cudnnCreateConvolutionDescriptorAborted (core dumped) → cnDNN 라이브러리를 찾지 못함→ 현재 세션에서 libcudnn_cnn.so.* 라이브러..
2025.06.27
-
[gradio] 애플리케이션에 path parameter 붙여서 특정 경로로 서빙하기
개요gradio로 올린 애플리케이션이 하나 있었는데~애플리케이션 하나더 추가해서 2개 올리고,{domain}/a{domain}/b이렇게 path parameter로 구분해서 올리고싶어서 도전~ 확인기존에 코드가 어떻게 되어있었냐면,def greet(name): return f"Hello, {name}!"gr_app = gr.Interface(fn=greet, inputs="text", outputs="text")gr_app.launch(server_name="0.0.0.0", server_port=8003) 이렇게 단순하게 8003 포트로 올라가는 애플리케이션이었다. 시작할때, 챗지피티한테 물어보니Gradio Blocks 기반 앱 생성 후 `path` 설정하고FastAPI 앱에 마운트하는 방법을 알..
2025.06.20
-
github으로 docker image 공유하기 (Docker packages > Containers)
개요Docker image를 github을 통해 고객에게 공유하려 함Docker packages > Containers 진행1. Access Token 발급https://github.com/settings/tokens → "Generate new token (classic)" 2. token name, expiration, scopes 입력 및 선택 3. 생성된 토큰 저장하기 (바로 hide됨) 4. Docker loginecho | docker login ghcr.io -u --password-stdinLogin Succeeded→ 확인되면 로그인 완료된 것 5. build imagedocker build -t ghcr.io//: . example:docker build -t ghcr.io/hyer..
2025.06.06
🔥 hot 🔥
-
nginx에 mTLS 인증서 발급하고 검증하기
mTLS 란?mTLS는 "Mutual Transport Layer Security"의 약자로, 클라이언트와 서버 간의 상호 인증을 위한 TLS(Transport Layer Security) 프로토콜의 확장이다. 일반적인 TLS는 서버만 인증하는 반면, mTLS는 클라이언트와 서버 모두가 서로를 인증하는 방식이다. 이를 통해 더 높은 수준의 보안이 제공된다. mTLS의 작동 방식은 서버 인증, 클라이언트 인증, 상호 인증 완료 로 진행되어야 한다. 1. 서버 인증 : 클라이언트 서버의 SSL/TLS 인증서를 확인하여 서버의 신원을 검증한다. 이는 일반적인 TLS 연결에서 이루어지는 단계이다.2. 클라이언트 인증 : 서버 또한 클라이언트로부터 인증서를 요청한다. 클라이언트는 자신의 인증서를 서버에 제출하여 ..
2024.08.16
-
정보처리기사 필기 핵심 요약 | 2과목 : 소프트웨어 개발
✨ 자료 구조- 선형 구조 : 배열, 선형 리스트(연속 리스트, 연결 리스트), 스택, 큐, 테크- 비선형 구조 : 트리, 그래프 ✨ 선형 리스트(1) 연속 리스트- 배열과 같이 연속되는 기억장소에 저장되는 자료 구조- 기억장소를 연속적으로 배정받기 때문에 기억장소 이용 효율은 밀도가 1로서 가장 좋다.- 중간에 데이터를 삽입하기 위해서는 연속된 빈 공간이 있어야 하며, 삽입/삭제 시 자료의 이동이 필요(2) 연결 리스트- 자료들을 반드시 연속적으로 배열시키지는 않고 임의의 기억공간에 기억시키되, 자료 항목의 순서에 따라 노드의 포인터 부분을 이용하여 서로 연결 시킨 자료 구조- 노드의 삽입/삭제 작업 용이- 기억 공간이 연속적으로 놓여 있지 않아도 저장할 수 있다.- 연결을 위한 링크(포인터) 부분이 ..
2025.01.13
-
정보처리기사 필기 핵심 요약 | 5과목 : 정보시스템 구축 관리
✨ CASE (Computer Aided Software Engineering)소프트웨어 개발 과정에서 사용되는 요구 분석, 설계, 구현, 검사 및 디버깅 과정 전체 또는 일부를 컴퓨터와 전용 소프트웨어 도구를 사용하여 자동화하는 것 ✨ LOC (원시 코드 라인 수, source Line Of Code)예측치 = (낙관치 + 4*기대치 + 비관치) / 6 ✨ 수학적 산정 기법상향식 비용 산정 기법- COCOMO: 보헴, LOC를 예측한 후 이를 소프트웨어 종류에 따라 다르게 책정되는 비용 산정 방정식에 대입하여 비용 산정- Putnam: 소프트웨어 생명 주기의 전 과정 동안에 사용될 노력의 분포를 가정해주는 모형- 기능 점수(FP) ✨ PERTProgram Evaluation and Review Tech..
2025.01.15
-
정보처리기사 필기 핵심 요약 | 1과목 : 소프트웨어 설계
✨ 소프트웨어 생명 주기 Software Life Cycle소프트웨어 개발 단계와 각 단계별 주요 활동, 그리고 활동의 결과에 대한 산출물로 표현한다. ✨ 폭포수 모형 Waterfall Model소프트웨어 개발은 이전 단계로 돌아갈 수 없다.각 단계를 확실히 매듭짓고 그 결과를 철저하게 검토하여 승인 과정을 거친 후에 다음 단계를 진행 (선형 순차적)전통적, 고전적 ✨ 나선형 모형 Spiral Model, 점진적 모형보헴Boehm이 제안한 것나선을 따라 돌듯이 여러번의 소프트웨어 개발 과정을 거쳐 점진적으로 완벽한 최종 소프트웨어를 개발 ✨ 애자일 모형 Agile Model고객 요구사항 변화에 유연하게 대응할 수 있도록 일정한 주리를 반복하는 개발과정좋은 것을 빠르고 낭비 없게 만들기 위해 고객과의 소통..
2025.01.11
-
정보처리기사 필기 핵심 요약 | 4과목 : 프로그래밍 언어 활용
✨ C/C++의 데이터 타입 크기 및 기억 범위 ✨ JAVA의 데이터 타입 크기 및 기억 범위 ✨ Python의 시퀀스 자료형List, Tuple, range, 문자열처럼 값이 연속적으로 이어진 자료형 ✨ 변수작성 규칙- 영문자, 숫자, _ 사용 가능- 첫글자는 영문자, _ 로 시작, 숫자는 올 수 없다.- 글자수 제한 없음- 공백, *, +, -, / 등 특수문자 사용할 수 없다.- 대,소문자 구분- 예약어 사용 금지- 변수 선언 시 변수명에 데이터 타입을 명시하는 것을 헝가리안 표기법이라고 한다 ✨ 가비지 콜렉터변수만 선언만 하고 사용하지 않으면 이 변수들이 점유한 메모리 공간은 다른 프로그램들이 사용할 수 없게 된다.이렇게 선언만 하고 사용하지 않는 변수들이 점유한 메모리 공간을 강제로 해제하여 다..
2025.01.15
-
정보처리기사 필기 핵심 요약 | 3과목 : 데이터베이스 구축
✨ 데이터베이스 설계 순서요구 조건 분석 → 개념적 설계 → 논리적 설계 → 물리적 설계 → 구현 ✨ 개념적 설계(정보 모델링, 개념화)정보의 구조를 얻기 위하여 현실세계의 무한성과 계속성을 이해하고, 다른 사람과 톤신하기 위하여 현실 세계에 대한 인식을 추상적 개념으로 표현하는 과정- E-R 다이어그램 ✨ 논리적 설계(데이터 모델링)현실 세계에서 발생하는 자료를 컴퓨터가 이해하고 처리할 수 있는 물리적 저장장치에 저장할 수 있도록 변환하기 위해 특정 DBMS가 지원하는 논리적 자료 구조로 변환mapping시키는 과정 ✨ 물리적 설계(데이터 구조화)논리적 설계 단계에서 논리적 구조로 표현된 데이터를 디스크 등의 물리적 저장장치에 저장할 수 있는 물리적 구조의 데이터로 변환하는 과정 ✨ 데이터 모델현실 세..
2025.01.14
-
[gRPC] gRPC과 websocket 비교 정리
기존에 개발했던 서비스에서 클라이언트와 서버 통신을 websocket 으로 구현했다.다 끝내고나서 클라이언트, 서버 통신하는 방법을 좀 더 서치해보고 싶었다그렇게 알게된 gRPC. 정리해보자 ✅ gRPC와 WebSocketgRPC와 WebSocket은 둘 다 네트워크 통신 프로토콜로, 실시간 데이터 전송과 클라이언트-서버 간 상호작용을 가능하게 함gRPCGoogle이 개발한 RPC(Remote Procedure Call) 프레임워크HTTP/2 기반으로 동작하며, 프로토콜 버퍼(Protocol Buffers, Protobuf)를 사용하여 데이터 직렬화를 수행클라이언트는 서버의 메서드를 호출하듯이 원격으로 기능을 실행WebSocketHTML5 표준으로, TCP 소켓 연결을 통해 양방향 통신을 가능하게 함프로..
2024.11.25
-
[Docker] Dockerfile COPY와 Mount 비교
개요file과 directory를 image build할 때 Dockerfile에서 COPY하는 것과 Docker container를 생성할 때 Mount하는 것을 비교하고 구분해 보려고 한다.Dockerfile에서 COPYCOPY는 build 시점에 host file/directory를 container image 안으로 복사한다.container 실행 시, Mount와 달리 파일이 컨테이너 이미지의 일부가 된다.container가 독립적으로 실행되거나 배포되는 경우 유용하다container 실행 시 항상 동일한 파일이 필요할 때공유 directory 없이 container 단독으로 실행되도록 하고 싶을 때예시)COPY ./app /app MountMount는 host 시스템의 파일/디렉토리를 cont..
2024.11.20
-
[Airflow] airflow ui에서 arguments 전달하기
개요Airflow의 Task들은 스케줄링으로 관리하고 있다.하지만 단발성으로 실행되어야하는 Task들도 존재한다.초기 데이터 적재 혹은 재적재 이슈로 인해..이러한 경우에 Arguments을 전달하고 싶을 때 어떻게 해야할까 찾아보았다.진행BashOperator, PythonOperator 두가지 방법으로 테스트해보았다.from datetime import datetime, timedeltafrom airflow import DAGfrom pendulum.tz.timezone import Timezonefrom airflow.operators.bash import BashOperatorfrom airflow.operators.python import PythonOperatorfrom airflow.ope..
2024.07.11
-
[python] TypeError: 'type' object is not subscriptable
✅ 개요 python3.8 환경에서 코드를 실행시키니 아래와 같은 에러와 함께 실행이 안되었다TypeError: 'type' object is not subscriptable 오류가 발생하는 지점을 보니def test_function1() -> list[str]: ... def test_function2() -> dict: 타입 힌트를 지정할 때 생기는 오류원인을 확인해보니, typing 힌트는 python3.9부터 지원하고 있다 ✅ 방법 1사용하는 python 을 3.9로 업데이트하는 방법이 있고 ✅ 방법2python typing 라이브러리를 사용하여 지정해주면 된다.python 버전 업은 큰 맘 먹고해야하니 이 방법을 강추한다.from typing import List, Dictdef test_..
2024.05.02