✨ new ✨
-
[Airflow] TriggerDagRunOperator 사용할 때 duplicate key value violates unique constraint "dag_run_dag_id_execution_date_key"
개요Airflow을 활용하여 크롤링을 진행하고 있었다.하나의 DAG가 특정 DAG를 한번에 여러번 trigger 하는 프로세스인데지금 계속 크롤링 사이트가 늘어나는 과정에 있었다. 크롤링 사이트가 300개 가까이 늘어나고, 하나의 DAG를 300개 가까이 호출하다가 오류가 발생했다. 에러는 trigger_internal_dag task가 Fail 확인해보자error message: run_id 중복 오류sqlalchemy.exc.IntegrityError: (psycopg2.errors.UniqueViolation) duplicate key value violates unique constraint "dag_run_dag_id_execution_date_key" trigger_internal_dag은..
2025.09.14
-
PDF에 있는 text를 빠르게 가지고 오자 ! feat. 시간복잡도
회사 프로젝트 중 .. 크롤링을 하고 있었다뉴스 기사들을 가지고 오는 크롤링이었는데,기사 내에 pdf가 있으면 파일을 다운받아서 간단하게 text만 추출해서 DB에 넣어준다. 근데 pdf가 있는 기사와 없는 기사를 스크리핑하는데 시간 차이가 많이 난다고 느꼈다.그래서 함수를 찾아갔다. 기존에 있던 코드:def current_extract_pdf_text(pdf_url): start_time = perf_counter() response = requests.get(pdf_url, headers={'User-Agent': random.choice(user_agents)}) response.encoding = response.apparent_encoding response.rais..
2025.07.23
-
[MySQL] 뉴스 기사 NER 검색 구조 개선기 - 성능과 유지보수성의 균형 맞추기
최근에 새로운 프로젝트에 투입이 되었다.혼자 1,000여개의 사이트를 크롤링해야하는 시스템을 만들어야했다.프로젝트에 배정되었을 때 너무 너무 많은 범위를 혼자 진행해야해서 막막했지만내가 처음부터 주도적으로 할 수 있다는게 얼마나 큰 기회인가! 좋은 기회이니 애정을 가지고 잘 진행해보려한다.완전 새로운 프로젝트는 아니고, 예전에 진행했던 것과 비슷하지만 맨땅부터 시작해야했다.그럼 더 좋다. 개선하고 싶은 부분들이 있었다. 처음으로 바로 개선하고 싶은 부분은 데이터 베이스 쪽이었다. 문제 상황 : 느린 NER 검색크롤링한 뉴스 기사 데이터를 DB에 저장하고, 각 기사별로 NER(Named Entity Recognition) 결과를 리스트 형태로 TEXT 컬럼에 저장하고 있었다. → ner에 ["키워드1", ..
2025.07.23
-
[SSH] SSH 세션에 따라 환경 변수가 다른 이슈
개요같은 서버에서A PC → SSH 접속 → 앱 실행 시 cuDNN 에러 + core dumpB PC → SSH 접속 → 동일 앱 실행 시 정상 작동 확인B PC에서는 fastapi 앱이 정상적으로 실행되는데, A PC에서는 동일 앱 실행 시 아래와 같은 에러메세지가 출력된다.Unable to load any of {libcudnn_cnn.so.9.1.0, libcudnn_cnn.so.9.1, libcudnn_cnn.so.9, libcudnn_cnn.so}Invalid handle. Cannot load symbol cudnnCreateConvolutionDescriptorAborted (core dumped) → cnDNN 라이브러리를 찾지 못함→ 현재 세션에서 libcudnn_cnn.so.* 라이브러..
2025.06.27
-
[gradio] 애플리케이션에 path parameter 붙여서 특정 경로로 서빙하기
개요gradio로 올린 애플리케이션이 하나 있었는데~애플리케이션 하나더 추가해서 2개 올리고,{domain}/a{domain}/b이렇게 path parameter로 구분해서 올리고싶어서 도전~ 확인기존에 코드가 어떻게 되어있었냐면,def greet(name): return f"Hello, {name}!"gr_app = gr.Interface(fn=greet, inputs="text", outputs="text")gr_app.launch(server_name="0.0.0.0", server_port=8003) 이렇게 단순하게 8003 포트로 올라가는 애플리케이션이었다. 시작할때, 챗지피티한테 물어보니Gradio Blocks 기반 앱 생성 후 `path` 설정하고FastAPI 앱에 마운트하는 방법을 알..
2025.06.20
-
github으로 docker image 공유하기 (Docker packages > Containers)
개요Docker image를 github을 통해 고객에게 공유하려 함Docker packages > Containers 진행1. Access Token 발급https://github.com/settings/tokens → "Generate new token (classic)" 2. token name, expiration, scopes 입력 및 선택 3. 생성된 토큰 저장하기 (바로 hide됨) 4. Docker loginecho | docker login ghcr.io -u --password-stdinLogin Succeeded→ 확인되면 로그인 완료된 것 5. build imagedocker build -t ghcr.io//: . example:docker build -t ghcr.io/hyer..
2025.06.06
🔥 hot 🔥
-
정보처리기사 필기 핵심 요약 | 2과목 : 소프트웨어 개발
✨ 자료 구조- 선형 구조 : 배열, 선형 리스트(연속 리스트, 연결 리스트), 스택, 큐, 테크- 비선형 구조 : 트리, 그래프 ✨ 선형 리스트(1) 연속 리스트- 배열과 같이 연속되는 기억장소에 저장되는 자료 구조- 기억장소를 연속적으로 배정받기 때문에 기억장소 이용 효율은 밀도가 1로서 가장 좋다.- 중간에 데이터를 삽입하기 위해서는 연속된 빈 공간이 있어야 하며, 삽입/삭제 시 자료의 이동이 필요(2) 연결 리스트- 자료들을 반드시 연속적으로 배열시키지는 않고 임의의 기억공간에 기억시키되, 자료 항목의 순서에 따라 노드의 포인터 부분을 이용하여 서로 연결 시킨 자료 구조- 노드의 삽입/삭제 작업 용이- 기억 공간이 연속적으로 놓여 있지 않아도 저장할 수 있다.- 연결을 위한 링크(포인터) 부분이 ..
2025.01.13
-
[MQTT] presence detection 에서 qos 와 retain 설정
최근 진행한 것 중에 유용하게 잘 사용한 paho-mqtt option이 있어서 기록한다. 아래와 같은 mqtt 를 개발하고 있었다mqtt 통신의 신뢰성을 높이기 위해서 main client 에서 sub client 의 연결 상태(online/offline)를 실시간으로 확인하고 싶었다. 그래서 qos, retain을 설정하고, will_set도 등록했다아래 예시를 보며 어떻게 사용했는지 확인해보자! ✨ 여기서 새로 알게된 용어 : presence detection→ IoT, MQTT, 채팅 시스템에 많이 쓰이는 개념이다.→ 현재 누가 연결되었는지(online), 누가 연결이 끊어졌는지(offline)에 대한 상태를 시스템이 실시간으로 파악하는 기능이다.→ "클라이언트의 접속 상태 감지" 라고 생각하면 ..
2025.05.08
-
[MQTT] pc 2개 통신 (python, 양방향 통신)
개요PC 2개가 있다.하나는 User가 업무를 요청하고, 나머지 하나는 Robot이 그 업무를 받아서 실시간 상태를 User가 알 수 있도록 업데이트를 해줄 것이다.전 프로젝트에서는 Robot이 하나 뿐이라서 socket으로 연결을 했다.이번에는 Robot이 추가로 더 늘어날 가능성을 염두해서 MQTT를 활용하려고 한다. 편히 PC, Robot이라고 칭하겠다.PC → Robot : 수행할 작업 (텍스트 형식) 전달Robot → PC : 작업 상태 (실시간 업데이트) 전달 구조PC는 작업지시를 발행하고, 로봇은 이를 구독로봇은 상태를 발행하고, PC는 이를 구독하여 실시간으로 상태를 확인Topic 설계PC → Robot: "robot/task"Robot → PC: "robot/status" 간단한 코드 구..
2025.02.25
-
[MQTT] Keep Alive
최근에 MQTT 통신 개발을 진행하면서 Keep Alive 설정에 관련한 문제를 겪었다. Status Update 하는 mqtt 클라이언트를 아래와 같이 생성하고send_status 라는 함수를 호출해서 사용하려고 했다. import paho.mqtt.client as mqttimport uuidimport timeclass RobotStatusUpdater: def __init__(self, broker_ip, topic="robot/status"): self.client = mqtt.Client(f"Robot_Status_Updater_{uuid.uuid4()}") self.client.connect(broker_ip, 1883) self.topic = to..
2025.03.12
-
nginx에 mTLS 인증서 발급하고 검증하기
mTLS 란?mTLS는 "Mutual Transport Layer Security"의 약자로, 클라이언트와 서버 간의 상호 인증을 위한 TLS(Transport Layer Security) 프로토콜의 확장이다. 일반적인 TLS는 서버만 인증하는 반면, mTLS는 클라이언트와 서버 모두가 서로를 인증하는 방식이다. 이를 통해 더 높은 수준의 보안이 제공된다. mTLS의 작동 방식은 서버 인증, 클라이언트 인증, 상호 인증 완료 로 진행되어야 한다. 1. 서버 인증 : 클라이언트 서버의 SSL/TLS 인증서를 확인하여 서버의 신원을 검증한다. 이는 일반적인 TLS 연결에서 이루어지는 단계이다.2. 클라이언트 인증 : 서버 또한 클라이언트로부터 인증서를 요청한다. 클라이언트는 자신의 인증서를 서버에 제출하여 ..
2024.08.16
-
[python] 네이버 카페 크롤링
네이버 카페 게시글을 크롤링 하려 한다. python requests를 이용해서 가지고 오려고 했으나 회원님의 안전한 서비스 이용을 위해 비밀번호를 확인해 주세요. IP가 자주 변경되는 네트워크 환경에서 로그인하는 경우 IP보안을 해제 후 이용하시기 바랍니다. 다시 한번 비밀번호 확인 하시면 이용중인 화면으로 돌아가며, 작성 중이던 내용을 정상적으로 전송 또는 등록하실 수 있습니다. 이렇게 접근할 수 없음을 알 수 있다. 이렇게 되면 selenium을 이용해서 동적으로 접근하기로 한다. 로그인 id 와 password를 입력해서 아래의 코드를 실행하면 로그인이 진행됨을 알 수 있다. import time from selenium import webdriver import csv import pandas ..
2024.01.30
-
[MQTT] Mac mosquitto 설치 / 실행 / 중지
1. mosquitto 설치brew install mosquitto 2. mosquitto 서비스 실행brew services start mosquitto 3. mosquitto 서비스 중지brew services stop mosquitto 메세지 확인은 MQTT Explorer 사용했다. 연결 잘됨 ~
2025.02.25
-
[gRPC] gRPC과 websocket 비교 정리
기존에 개발했던 서비스에서 클라이언트와 서버 통신을 websocket 으로 구현했다.다 끝내고나서 클라이언트, 서버 통신하는 방법을 좀 더 서치해보고 싶었다그렇게 알게된 gRPC. 정리해보자 ✅ gRPC와 WebSocketgRPC와 WebSocket은 둘 다 네트워크 통신 프로토콜로, 실시간 데이터 전송과 클라이언트-서버 간 상호작용을 가능하게 함gRPCGoogle이 개발한 RPC(Remote Procedure Call) 프레임워크HTTP/2 기반으로 동작하며, 프로토콜 버퍼(Protocol Buffers, Protobuf)를 사용하여 데이터 직렬화를 수행클라이언트는 서버의 메서드를 호출하듯이 원격으로 기능을 실행WebSocketHTML5 표준으로, TCP 소켓 연결을 통해 양방향 통신을 가능하게 함프로..
2024.11.25
-
[MQTT] message를 안보내는데 계속 message가 쌓이는 issue
사실 이건 문제까지는 아니고, 좀 더 자세하게 알고 싶었다.저번 포스팅에서는 mqtt explorer 에 연결을 했다. [MQTT] mqtt client에 connect 안되는 문제ec2 instance를 생성하고 mosquitto를 실행시켰다. 그리고 mqtt connection tool를 사용하여 연결을 시도하니, 연결이 불가능했다 Starting in local only mode. Connections will only possible from clients running on this machine.bonory.tistory.com 연결을 하고 보니,나 연결만 하고 아무 것도 안했는데 ?! 자꾸 몇초 간격으로 message가 쌓이는 것 처럼 숫자가 계속 늘어났다.뭐지 ??????? 한번 확인해보..
2024.03.07
-
[스타트업 주니어로 살아남기] 이 책을 선택한 이유
2021년을 마무리하며 회고를 쓴지 3주도 되지 않았지만 그때의 마음가짐와 많이 달라졌다. 2022년을 알차게 잘 보낼 수 있을 것이라 생각했고 그 만큼 의지도 강했다. 그러나 1월 중순이 되어가니 지금 당장 무엇부터 시작해야하며 나는 올해 어떤 것들을 이뤄야할까라는 생각에 걱정만 커져가고 있다. 회사에 입사한지 이제 딱 3개월이 되었다. 10월 12일에 입사하고 오늘이 1월 12일 내가 스타트업을 선택한 이유는 바닥부터 시작해서 배우고 싶었고, 회사와 내가 같이 성장할 수 있지 않을까라는 기대감이 컸다. 그러한 생각들이 온전히 그냥 나의 희망사항이었을 수도 있겠다라는 생각이 든다. 스타트업은 넓은 시장의 틈바구니 속에서 살아남을려면 무엇보다 빨라야한다. 과연 나는 이렇게 기업의 생존을 위해 빠르게 성장..
2022.01.12
