본문 바로가기

👩🏻‍💻 🌮 💬

👩🏻‍💻/database10

[MySQL] match ... against 한글자 검색 오류 (innodb_ft_min_token_size, ngram_token_size) 개요SELECT * FROM articles_cn WHERE MATCH(ner_text) AGAINST('火' IN BOOLEAN MODE); 이 쿼리로 검색을 하니, 아무것도 출력받지 못했다. 혹시나 해서 다른 쿼리를 사용해 검색했을 땐SELECT * FROM articles_cn WHERE JSON_CONTAINS(ner, '"火"'); 잘 나온다.. 뭐 때문에 안나오는 걸까? 확인CREATE TABLE `articles_cn` ( `id` int unsigned NOT NULL AUTO_INCREMENT, `title` varchar(255) NOT NULL, `content` text NOT NULL, `ner` json, `ner_text` text, PRIMARY KEY (`id`.. 2025. 5. 30.

[MySQL] Mac에 my.cnf 파일이 없다 (mysql 다운받아서 직접 설치했을 경우) 개요한 글자 검색을 위해 ngram_token_size를 default 2에서 1로 수정하려고 하는데, my.cnf 파일을 찾을 수 없다!homebrew로 설치한 게 아니고 직접 다운로드해서 설치해서 그런가 .. 확인1️⃣ config 파일 확인mysql --help | grep -A 1 "Default options"Default options are read from the following files in the given order:/etc/my.cnf /etc/mysql/my.cnf /usr/local/mysql/etc/my.cnf ~/.my.cnf mysql은 왼쪽부터 순서대로 my.cnf를 찾는다. 2️⃣ 첫번째 경로( /etc/my.cnf )에 my.cnf를 생성해준다. (왜냐면 .. 직접.. 2025. 5. 30.

[MySQL] 검색 쿼리 성능 비교 개요- ner을 포함하는 기사들을 출력할 때, 효율적으로 검색하기 위한 쿼리 성능 비교 1) JSON_CONTAIN 2) MATCH … AGAINST 3) MATCH … AGAINST + REGEXP- 100,000개의 article로 진행 확인EXPLAIN ANALYZE 로 분석을 진행했다. 1. JSON_CONTAINEXPLAIN ANALYZE SELECT * FROM articles WHERE JSON_CONTAINS(ner, '"삼성"');-> Filter: json_contains(articles.ner,('"삼성"')) (cost=10185.55 rows=98728) (actual time=0.148..102.554 rows=27555 loops=1)-> Table .. 2025. 5. 28.

[MySQL] FULLTEXT 인덱스 검색 글자수 제한 개요 article이 있는 테이블에서 특정 ner를 포함한 기사들을 select 하는 쿼리를 작성 중에 있었다. ✅ 여기서 문제 발생2글자는 검색이 안되고, 3글자부터 검색 가능 1️⃣ ner 키워드 중 "삼성"을 포함한 기사를 가지고 오는 querySELECT * FROM articles WHERE MATCH(ner_text) AGAINST('+삼성' IN BOOLEAN MODE);→ 아무것도 출력 안됨 2️⃣ 삼성전자를 포함한 기사를 가지고 오는 querySELECT * FROM articles WHERE MATCH(ner_text) AGAINST('+삼성전자' IN BOOLEAN MODE);→ 정상적으로 출력 확인MySQL FULLTEXT 인덱스에서 2글자 이상이 검색이 되지 않는다.SHOW VA.. 2025. 5. 28.

[MySQL] localhost 비밀번호 까먹었다 local 에서 테스트를 진행하던 중 로컬 mysql에 데이터를 적재하려고 python으로 연결 시도 했는데import pymysql# MySQL 연결conn = pymysql.connect( host="localhost", user="root", password="12341234", database="study", charset="utf8mb4", cursorclass=pymysql.cursors.DictCursor)pymysql.err.OperationalError: (1045, "Access denied for user 'root'@'localhost' (using password: YES)") 이런 Access denied 되었다. 다행히 DBeaver를 통한 연결.. 2025. 2. 14.

크롤링 데이터 적재 SQL vs NoSQL 개요전에 진행되었던 프로젝트에서의 크롤링은 MongoDB에 적재했다.데이터를 적재할 때 SQL(MySQL), NoSQL(MongoDB) 두가지 중에 어떤 곳이 더 적합한지 고민이 되어서 두가지를 비교해보쟈 ~ ! 기본 개념DB 종류특징적합한 경우MySQL (Relational)테이블 기반의 관계형 DB (SQL)정형 데이터, 검색 성능 중요MongoDB (NoSQL, Document-based)JSON-like 문서 저장 (NoSQL)비정형 데이터, 유연한 스키마크롤링 데이터크롤링 데이터는 이러한 형태로 수집된다.{ "title": "Example Title", "url": "https://example.com", "content": "Some article content...", .. 2025. 2. 6.

[MongoDB] 간단한 개념정리 개요이번에 크롤링하는 데이터를 몽고디비에 적재해달라는 요청을 받아서 진행했다.처음으로 몽고디비를 접해보는 겸 개념 정리를 해볼까 한다.몽고디비 MongoDB오픈소스이다NoSQL 데이터베이스 관리 시스템으로 데이터가 JSON 유사한 문서 형태로 저장되는게 특징이다.전통적인 관계형 데이터베이스(RDBMS)와는 달리, 스키마가 없다. 특징(1) 문서 기반(Document-oriented) 저장- 데이터를 테이블의 행(row)으로 저장하는 RDBMS와 달리, MongoDB는 BSON(Binary JOSN) 포맷의 문서로 데이터를 저장한다.- 예:{ "name": "John", "age": 30, "skills": ["Python", "JavaScript"]} (2) 스키마리스(Schema-less)- 데이.. 2025. 1. 10.

[MySQL] 데이터 변경 실시간 확인 진행 mysql 데이터 변경을 실시간으로 확인하고 싶어서 search하고 정리했다. mysql 데이터 변경 실시간 확인개요이번에 새로 진행되는 프로젝트에서 새로운 기능을 추가해야한다.데이터베이스에 변화가 있을 때, 실시간으로 확인할 수 있는 기능에 대해서 search 했다.실시간 데이터를 다루고 싶었는데bonory.tistory.com이를 기반으로 실제로 진행해보려고 한다.우선 나는 docker로 zookeeper, kafka, kafka-connect, mysql을 올릴 것이다그래서 docker-compose.yml을 아래와 같이 작성했다docker-compose.ymlversion: '3'services: zookeeper: image: confluentinc/cp-zookeeper:latest .. 2024. 10. 20.

[MySQL] 데이터 변경 실시간 확인 개요이번에 새로 진행되는 프로젝트에서 새로운 기능을 추가해야한다.데이터베이스에 변화가 있을 때, 실시간으로 확인할 수 있는 기능에 대해서 search 했다.실시간 데이터를 다루고 싶었는데 이번에 하게되어서 너무 좋다 !이번 프로젝트의 Back은 Fastapi, Front는 javascript로 진행할 것이다. 간단하다.1. Robot에서 Database에 데이터 update한다.2. Database에 변화가 있을 시 Fastapi (Back)이 알아야한다.3. Fastapi (Back)에서 javascript (Front) 로 변화를 전달한다. 확인1. Database → Back : polling / CDC2. Back → Front : web socket Polling일정 주기로 데이터베이스에서 특정.. 2024. 10. 2.

이전 1 2 다음

티스토리툴바