MQTT와 Kakfa 비교

개요

최근에 진행한 프로젝트 중에 socket 통신으로 데이터를 보내고, responce를 받는 기능을 개발했는데

네트워크가 불안정한 환경에서 진행하니까 socket 연결 불안정, 연결 지연 등등 이슈들이 발생해서

다음에는 mqtt 혹은 kafka를 사용해봐야겠다 싶어서 서치해보았다.

간단한 비교

· MQTT : 경량 메시징, 낮은 대기 시간 및 낮은 데이터 트래픽에 적합하다. IoT나 간단한 애플리케이션에 유리하다.

· Kafka : 높은 데이터 트래픽 및 메시지 유지 관리가 필요한 대규모 애플리케이션에 적합하다. 안정성과 성능이 중요할 때 유리하다.

 

좀 더 자세하게 정리

✅ MQTT

· Message Queuing Telemetry Transport

· 제한된 리소스를 가진 장치나 IoT(사물인터넷) 장치 사이에 통신을 위해 설계된 프로토콜

· 경량화된 설계와 효율적인 메시지 전송으로 저전력, 저대역폭 환경에서 최적화된 성능을 발휘한다!

 

✨ MQTT 특징

1. 소형 패킷 크기
   1. MQTT 메시지는 매우 작은 크기의 패킷을 사용하여 대역폭을 최소화한다.
   2. 헤더 크기가 고정되어 있으며, 최소한의 데이터를 포함하도록 설계되었다.
      1. 기본적으로 헤더는 2바이트로 매우 작다.
2. QoS (Quality of Service)
   1. MQTT는 QoS를 3가지 수준으로 제공하여 메시지 전송의 안정성을 설정할 수있다.
      1. QoS 0 : At most once (최대 1회 전송, 전달 보장 없음)
      2. QoS 1 : At least once (최소 1회 전송, 중복 가능성 있음)
      3. QoS 2 : Exactly once (정확히 1회 전, 더 높은 신뢰성)
   2. 이러한 옵션을 통해 장치 간 통신에서 트래픽과 신뢰성 사이의 균형을 맞출 수 있다.
3. 연결 유지와 저전력 설계
   1. MQTT는 ‘Keep Alive’ 메시지로 연결을 유지하여 장치가 수시로 재연결하지 않아도 되도록 한다.
   2. 이 기능은 저전력 환경에서 전력 소비를 줄여주기 때문에 배터리로 작동하는 장치들에 적합하다.
4. TCP 기반의 연결 지향적 프로토콜
   1. MQTT는 TCP 위에서 동작하여 신뢰성 있는 연결을 유지하며 소형 장치 간의 통신에 유리한 구조

 

✅ Kafka

· 대규모 데이터 스트리밍을 위한 분산형 메시징 플랫폼

· 높은 처리량과 낮은 지연 시간, 확장성을 목표로 설계되었다.

· 실시간 로그 처리, 데이터 분석, 이벤트 스트리밍에 자주 사용된다.

 

✨ Kafka 특징

1. 분산형 아키텍처
   1. 분산형으로 설계되어 여러 브로커가 클러스터를 형성하며 데이터를 관리한다. → 데이터의 중복성과 확장성을 보장하여 높은 트래픽을 처리할 수 있다.
   2. 데이터는 여러 파티션으로 나뉘어 저장되며 각 파티션은 독립적으로 처리되어 병렬 처리가 가능하다.
2. 높은 처리량과 저 지연성
   1. 데이터 쓰기 및 읽기에 있어 매우 높은 처리량을 자랑한다.
      1. 내부적으로 ‘Zero-Copy' 기술을 활용하여 데이터를 메모리에서 디스크로 바로 전송하고 중간 메모리 복사 과정을 줄이기 때문
   2. 배치 전송과 압축을 사용하여 메시지를 더 효율적으로 처리한다.
3. offset 기반 메시지 관리
   1. Consumer가 메시지를 소비할 때 해당 메시지의 offset을 기록한다. → 메시지를 정확하게 추적하고 Consumer가 언제든지 필요할 때 메시지를 다시 처리하거나 특정 지점에서부터 재처리할 수 있다.
   2. 대규모 데이터 로그, 실시간 데이터 스트림을 처리할 때 매우 유용하다.
4. 내구성 있는 데이터 보관
   1. 메시지를 브로커의 로그에 저장하며 지정된 기간 동안 메시지를 보관한다. 그래서 메시지가 소비되지 않더라도 손실 없이 시스템에 남아 있어 데이터 재처리가 가능하다.
   2. 실시간 분석 시스템이나 트랜잭션 로그 처리 등에서 중요한 역할을 한다.

 

📌 마지막 정리

특성	MQTT	Kafka
메시지 크기	작고 최소한의 헤더	대형 로그, 이벤트 데이터
QoS	여러 수준 제공 (0, 1, 2)	보장된 전달 (At least once)
연결 방식	TCP 기반, 경량화	분산 클러스터 기반
주요 사용 사례	IoT 장치, 제한된 리소스 통신	대규모 데이터 스트리밍, 실시간 분석
데이터 저장	메시지를 일시적으로 보관	메시지의 내구성 보장, 로그 저장