본문 바로가기

👩🏻‍💻 🌮 💬

🍔 database13

[MySQL] localhost 비밀번호 까먹었다 local 에서 테스트를 진행하던 중 로컬 mysql에 데이터를 적재하려고 python으로 연결 시도 했는데import pymysql# MySQL 연결conn = pymysql.connect( host="localhost", user="root", password="12341234", database="study", charset="utf8mb4", cursorclass=pymysql.cursors.DictCursor)pymysql.err.OperationalError: (1045, "Access denied for user 'root'@'localhost' (using password: YES)") 이런 Access denied 되었다. 다행히 DBeaver를 통한 연결.. 2025. 2. 14.

크롤링 데이터 적재 SQL vs NoSQL 개요전에 진행되었던 프로젝트에서의 크롤링은 MongoDB에 적재했다.데이터를 적재할 때 SQL(MySQL), NoSQL(MongoDB) 두가지 중에 어떤 곳이 더 적합한지 고민이 되어서 두가지를 비교해보쟈 ~ ! 기본 개념DB 종류특징적합한 경우MySQL (Relational)테이블 기반의 관계형 DB (SQL)정형 데이터, 검색 성능 중요MongoDB (NoSQL, Document-based)JSON-like 문서 저장 (NoSQL)비정형 데이터, 유연한 스키마크롤링 데이터크롤링 데이터는 이러한 형태로 수집된다.{ "title": "Example Title", "url": "https://example.com", "content": "Some article content...", .. 2025. 2. 6.

[MongoDB] 간단한 개념정리 개요이번에 크롤링하는 데이터를 몽고디비에 적재해달라는 요청을 받아서 진행했다.처음으로 몽고디비를 접해보는 겸 개념 정리를 해볼까 한다.몽고디비 MongoDB오픈소스이다NoSQL 데이터베이스 관리 시스템으로 데이터가 JSON 유사한 문서 형태로 저장되는게 특징이다.전통적인 관계형 데이터베이스(RDBMS)와는 달리, 스키마가 없다. 특징(1) 문서 기반(Document-oriented) 저장- 데이터를 테이블의 행(row)으로 저장하는 RDBMS와 달리, MongoDB는 BSON(Binary JOSN) 포맷의 문서로 데이터를 저장한다.- 예:{ "name": "John", "age": 30, "skills": ["Python", "JavaScript"]} (2) 스키마리스(Schema-less)- 데이.. 2025. 1. 10.

[MQTT] python 으로 sub / pub 구현하기 MQTT와 Kakfa 비교개요최근에 진행한 프로젝트 중에 socket 통신으로 데이터를 보내고, responce를 받는 기능을 개발했는데네트워크가 불안정한 환경에서 진행하니까 socket 연결 불안정, 연결 지연 등등 이슈들이 발bonory.tistory.comkafka와 mqtt에 대해서 찾아보고 정리했다.그리고는 mqtt를 한번 사용해 보려고 한다. 진행1. python으로 topic에 message를 전송한다.2. MQTT Explorer로 message를 잘 받는지 확인한다.3. python으로 topic을 subscribe하고 message를 확인한다. (0) pip 설치pip install paho-mqtt (1) python - message 전송import paho.mqtt.client a.. 2024. 10. 28.

MQTT와 Kakfa 비교 개요최근에 진행한 프로젝트 중에 socket 통신으로 데이터를 보내고, responce를 받는 기능을 개발했는데네트워크가 불안정한 환경에서 진행하니까 socket 연결 불안정, 연결 지연 등등 이슈들이 발생해서다음에는 mqtt 혹은 kafka를 사용해봐야겠다 싶어서 서치해보았다.간단한 비교· MQTT : 경량 메시징, 낮은 대기 시간 및 낮은 데이터 트래픽에 적합하다. IoT나 간단한 애플리케이션에 유리하다.· Kafka : 높은 데이터 트래픽 및 메시지 유지 관리가 필요한 대규모 애플리케이션에 적합하다. 안정성과 성능이 중요할 때 유리하다. 좀 더 자세하게 정리✅ MQTT· Message Queuing Telemetry Transport· 제한된 리소스를 가진 장치나 IoT(사물인터넷) 장치 사이에 통.. 2024. 10. 23.

mysql 데이터 변경 실시간 확인 진행 mysql 데이터 변경을 실시간으로 확인하고 싶어서 search하고 정리했다. mysql 데이터 변경 실시간 확인개요이번에 새로 진행되는 프로젝트에서 새로운 기능을 추가해야한다.데이터베이스에 변화가 있을 때, 실시간으로 확인할 수 있는 기능에 대해서 search 했다.실시간 데이터를 다루고 싶었는데bonory.tistory.com이를 기반으로 실제로 진행해보려고 한다.우선 나는 docker로 zookeeper, kafka, kafka-connect, mysql을 올릴 것이다그래서 docker-compose.yml을 아래와 같이 작성했다docker-compose.ymlversion: '3'services: zookeeper: image: confluentinc/cp-zookeeper:latest .. 2024. 10. 20.

mysql 데이터 변경 실시간 확인 개요이번에 새로 진행되는 프로젝트에서 새로운 기능을 추가해야한다.데이터베이스에 변화가 있을 때, 실시간으로 확인할 수 있는 기능에 대해서 search 했다.실시간 데이터를 다루고 싶었는데 이번에 하게되어서 너무 좋다 !이번 프로젝트의 Back은 Fastapi, Front는 javascript로 진행할 것이다. 간단하다.1. Robot에서 Database에 데이터 update한다.2. Database에 변화가 있을 시 Fastapi (Back)이 알아야한다.3. Fastapi (Back)에서 javascript (Front) 로 변화를 전달한다. 확인1. Database → Back : polling / CDC2. Back → Front : web socket Polling일정 주기로 데이터베이스에서 특정.. 2024. 10. 2.

[MQTT] message를 안보내는데 계속 message가 쌓이는 issue 사실 이건 문제까지는 아니고, 좀 더 자세하게 알고 싶었다. 저번 포스팅에서는 mqtt explorer 에 연결을 했다. [MQTT] mqtt client에 connect 안되는 문제 ec2 instance를 생성하고 mosquitto를 실행시켰다. 그리고 mqtt connection tool를 사용하여 연결을 시도하니, 연결이 불가능했다 Starting in local only mode. Connections will only possible from clients running on this machine. bonory.tistory.com 연결을 하고 보니, 나 연결만 하고 아무 것도 안했는데 ?! 자꾸 몇초 간격으로 message가 쌓이는 것 처럼 숫자가 계속 늘어났다. 뭐지 ??????? 한번 .. 2024. 3. 7.

[MQTT] mqtt client에 connect 안되는 문제 ec2 instance를 생성하고 mosquitto를 실행시켰다. 그리고 mqtt connection tool를 사용하여 연결을 시도하니, 연결이 불가능했다 Starting in local only mode. Connections will only possible from clients running on this machine. 로컬 모드에서만 가능하며 Create a configuration file which defines a listener to allow remote access. 원격 엑세스를 config를 create 하라고 하는 것 같다 첫번째, mosquitto config를 수정한다. linux라면 /etc/mosquitto/mosquitto.conf 에 위치한다. 이렇게 설정되어있는데.. 2024. 3. 6.

이전 1 2 다음

티스토리툴바