[MySQL] 뉴스 기사 NER 검색 구조 개선기 - 성능과 유지보수성의 균형 맞추기

 

최근에 새로운 프로젝트에 투입이 되었다.

혼자 1,000여개의 사이트를 크롤링해야하는 시스템을 만들어야했다.

프로젝트에 배정되었을 때 너무 너무 많은 범위를 혼자 진행해야해서 막막했지만

내가 처음부터 주도적으로 할 수 있다는게 얼마나 큰 기회인가!

 

좋은 기회이니 애정을 가지고 잘 진행해보려한다.

완전 새로운 프로젝트는 아니고, 예전에 진행했던 것과 비슷하지만 맨땅부터 시작해야했다.

그럼 더 좋다. 개선하고 싶은 부분들이 있었다.

 

처음으로 바로 개선하고 싶은 부분은 데이터 베이스 쪽이었다.

 

문제 상황 : 느린 NER 검색

크롤링한 뉴스 기사 데이터를 DB에 저장하고, 각 기사별로 NER(Named Entity Recognition) 결과를 리스트 형태로 TEXT 컬럼에 저장하고 있었다.

 

<예시 테이블>

→ ner에 ["키워드1", "키워드2", "키워드3", ...] 이렇게 들어가있었다.

 

사용자가 특정 NER을 입력하면 해당 NER이 포함된 기사들을 빠르게 검색해야 했는데,

단순히 전체 기사 데이터를 조회하고 파싱하는 방식은 성능상 매우 비효율적이었다.

 

초기 데이터는 수천 건 수준이었기에 문제없었지만, 수십만 건 이상으로 증가하면서 성능 저하가 발생하기 시작했다.

 

1️⃣ 차 개선

검색 속도 향상을 위해 별도의 NER → 기사 번호 mapping 테이블 추가로 생성

 

<예시 테이블>

각 NER 단위로 기사 id 리스트를 저장해두고, 역방향 조회를 통해 검색 속도를 높였다.

 

문제점

- 크롤링 데이터가 갱신되거나 롤백될 경우, 어떤 NER-기사 매핑이 영향을 받았는지 추적하기 어렵다.

- 결국, 전체 매핑 테이블을 삭제 후 재생성해야 하는 상황이 자주 발생

- 구조가 복잡해지고, 크롤링 파이프라인과 DB가 긴밀하게 Coupling됨

 

2️⃣ 차 개선

추가 테이블을 생성하지 않고 최대한 간단하게 조회하는 방법이 없을 까 고민 ..

기존 기사 테이블에 Generated 컬럼을 추가하고, 이 컬럼에는 NER 리스트를 가공해 검색 최적화에 맞게 저장하도록 했다.

해당 컬럼에 대해 FULLTEXT INDEX를 설정하고,
MATCH(ner_text) AGAINST('+키워드' IN BOOLEAN MODE) 구문을 사용해 빠르고 효율적으로 검색할 수 있도록 개선했다.

 

 

⭐️ 효과

 

- 별도의 테이블 없이도 빠른 NER 기반 검색 성능 확보

- 크롤링 데이터가 변경되거나 롤백되는 경우에도 매핑 테이블을 관리할 필요가 없어 유지보수 비용 절감

- 전체적인 구조가 단순화되어, 이후 기능 확장이나 크롤링 파이프라인 변경 시에도 유연하게 대응 가능