mysql 데이터 변경 실시간 확인

개요

이번에 새로 진행되는 프로젝트에서 새로운 기능을 추가해야한다.

데이터베이스에 변화가 있을 때, 실시간으로 확인할 수 있는 기능에 대해서 search 했다.

실시간 데이터를 다루고 싶었는데 이번에 하게되어서 너무 좋다 !

이번 프로젝트의 Back은 Fastapi, Front는 javascript로 진행할 것이다.

 

간단하다.

1. Robot에서 Database에 데이터 update한다.

2. Database에 변화가 있을 시 Fastapi (Back)이 알아야한다.

3. Fastapi (Back)에서 javascript (Front) 로 변화를 전달한다.

 

확인

1. Database → Back : polling / CDC

2. Back → Front : web socket

 

Polling

일정 주기로 데이터베이스에서 특정 테이블을 조회해서 변화가 있는지 확인하는 방법이다.

1. 주기를 짧게 설정하면 → 서버 부하 발생 가능성

2. 주기를 길게 설정하면 → 실시간 반응성 한계

 

CDC

Change Data Capture

데이터베이스의 트랜잭션 로그, 바이너리 로그를 기반으로 동작한다.

polling 처럼 직접 쿼리를 전송하는 않고 실시간으로 데이터 변경 사항을 감지해서 다른 시스템으로 전송한다.

 

[동작 방식 정리]

1. 트랜잭션 (INSERT, UPDATE, DELETE) 을 추적하여 데이터를 capture한다.
2. capture된 변경 사항을 event stream 형태로 내보낸다.
   1. message queue (ex. Kafka, RabbitMQ ..) 같은 시스템으로 전송한다.
3. 바이너리 로그(binlog), 트랜잭션 로그를 읽어 변경 사항 감지한다.
   1. 이 로그에는 database의 모든 변경 내역이 기록되어 있어서 변경 사항을 추적할 수 있다.

[CDC 구현을 위한 도구]

• Debezium
  • 오픈소스, Mysql 지원, Kafka와 통합되어 있음
  • 흐름
    • MySQL Binlog를 읽어서 변경 사항을 감지
    • Kafka Connect를 통해 변경 사항을 Kafka 토픽으로 전송
    • application이 Kafka로부터 이벤트를 수신
• AWS DMS
  • AWS에서 제공하는 CDC 기반 데이터 복제 서비스
  • 변경된 데이터를 실시간으로 추적하여 다른 AWS 서비스(S3, Redshift ..)로 전송
• Apache Kafka + Kafka connect
  • Debezium이랑 같이 사용하는게 좋음

 

이제 다음엔 실제로 진행해야겠다

 

> 진행:

mysql 데이터 변경 실시간 확인 진행