Kafka 및 ActiveMQ는 가장 인기 있는 오픈 소스 메시징 프로젝트 중 하나입니다. 둘 다 B. 애플리케이션 로그 및 메트릭과 같은 스트리밍 데이터 처리 문제를 처리하지만 방식이 다릅니다. Kafka는 지연 시간이 짧은 게시-구독 메시징 시스템으로, 데이터 파이프라인 및 실시간 분석에 사용하기 위해 시스템 간에 대량의 스트리밍 데이터를 효율적으로 전송할 수 있습니다. ActiveMQ는 JMS 및 AMQP와 같은 산업 표준 프로토콜을 사용하여 성능 및 소형 장치 지원에 중점을 둔 메시지 브로커입니다. 둘 사이에는 몇 가지 차이점이 있습니다. 그 중 하나는 클라이언트 라이브러리, 즉 ActiveMQ 라이브러리보다 나은 Kafka Stream입니다.
이 기사에서는 Kafka의 기능과 ActiveMQ의 기능을 비교하여 요구 사항에 가장 적합한 프로젝트를 결정하는 데 도움을 줍니다.
다른 많은 기술과 마찬가지로 가장 적합한 시스템을 선택할 때 메시징 시스템에 대해 고려해야 할 장점과 단점이 있습니다. Kafka는 2011년 초에 LinkedIn에 의해 개발되었으며 ActiveMQ는 2004년부터 어떤 형태로든 사용되었습니다. 두 시스템 모두 오픈 소스이지만 Kafka는 ASF(Apache Software Foundation)의 일부인 반면 ActiveMQ는 독립 프로젝트입니다. SitePoint에 따르면 ActiveMQ에는 Kafka보다 더 많은 s가 있습니다. 이제 두 시스템 간의 몇 가지 주요 차이점을 살펴보겠습니다.
Kafka와 ActiveMQ의 주요 차이점은 Kafka가 ActiveMQ보다 광범위한 메시징 프로토콜을 지원한다는 것입니다. 나중에 살펴보겠지만 이는 두 시스템이 사용되는 방식에 상당한 영향을 미칠 수 있습니다. Kafka는 현재 세 가지 메시징 프로토콜을 지원합니다.
- 게시/구독(메시지 대기열이라고도 함)
- 지점간(요청/응답이라고도 함)
- 보장된 주문(트랜잭션이라고도 함)
ActiveMQ는 게시/구독 및 지점 간 두 가지만 지원합니다. 이는 B. 트랜잭션 메시징 또는 비동기 메시징과 같은 다른 유형의 메시징 프로토콜을 사용하려는 경우를 의미합니다. ActiveMQ는 향후 릴리스에서 이 두 프로토콜에 대한 지원을 추가할 계획이지만 현재 지원되지 않는다는 점은 주목할 가치가 있습니다.
또한 Kafka는 오픈 소스 기반에서 개발되고 ActiveMQ는 단일 공급업체(iMatix)에서 개발된다는 사실도 고려해야 합니다. 이는 ActiveMQ의 버그가 iMatix 엔지니어에게 보고되면 신속하게 수정될 수 있음을 의미합니다. Kafka에 비슷한 문제가 있는 경우 현재 작업 부하와 제한된 리소스를 고려할 때 ASF의 개발자가 문제를 해결하는 데 더 오래 걸릴 수 있습니다. 반대로 ActiveMQ에서 문제를 발견하면 직접 수정하고 ActiveMQ 팀에 요청을 제출할 수 있습니다.
Kafka와 ActiveMQ에서 지원하는 메시지 프로토콜에는 많은 차이점이 있으므로 하나씩 살펴보겠습니다. 게시/구독(메시지 대기열)부터 시작하겠습니다. 두 시스템 모두 이 프로토콜을 지원하며 “응용 프로그램 서버에서 나중에 처리할 수 있는 메시지 대기열로 작업을 이동할” 수 있습니다.
주요 차이점은 Kafka는 오프셋으로 메시지 찾기를 허용하지만(데이터베이스에서 레코드를 검색하는 것과 유사) ActiveMQ는 그렇지 않다는 것입니다. Kafka는 또한 ACL을 사용한 액세스 제어 및 압축 코덱을 사용한 압축과 같은 고급 기능을 지원합니다.
다음 메시징 프로토콜은 지점 간(요청/응답)입니다. 이 프로토콜은 특정 대상에게 메시지를 보내야 할 때 사용됩니다. Kafka는 이러한 유형의 메시지 전달을 지원하지만 메시지가 전송된 순서대로 전달된다는 보장은 없습니다. ActiveMQ는 이 프로토콜을 통해 전송된 메시지에 대한 순서 보장을 지원합니다.
마지막으로 보장된 주문(거래)을 살펴보겠습니다. 이름에서 알 수 있듯이 이 프로토콜은 메시지가 전송된 순서대로 전달되도록 보장합니다. Kafka와 ActiveMQ는 모두 이러한 유형의 메시징을 지원하지만 Kafka는 게시/구독 메시지에 대해서만 지원하는 반면 ActiveMQ는 지점 간 메시지에 대해서도 지원합니다.
우리가 본 것처럼 게시/구독 및 지점 간 메시징 프로토콜은 모두 Kafka와 ActiveMQ에서 여러 고급 기능을 지원합니다. 그러나 Kafka만이 두 가지 유형의 메시지에 대해 이러한 모든 기능을 지원합니다. 목록에는 다음이 포함됩니다.
- 다이내믹 테마
- ACL(액세스 제어 목록)
- 압축 코덱
- 저장된 데이터의 시간 또는 크기를 기반으로 할 수 있는 보존 정책
일반적으로 특정 고급 기능이 필요한 경우 Kafka를 사용해야 하는 것 같습니다. 그렇지 않으면 성능 메트릭 측면에서 매우 유사하므로 두 시스템을 모두 사용할 수 있습니다. 예를 들어 이 벤치마크에서 Kafka는 시간당 130만 개의 메시지를 처리할 수 있었던 반면 ActiveMQ는 시간당 900,000개의 메시지만 처리할 수 있었습니다.
일반적으로 Kafka와 ActiveMQ는 눈에 띄는 성능 저하 없이 많은 수의 메시지를 처리할 수 있습니다. 그러나 알아야 할 몇 가지 중요한 차이점이 있습니다. 예를 들어 Kafka는 “내결함성 제공”을 지원합니다. 즉, 클러스터의 한 노드가 실패하더라도 계속 작동할 수 있습니다. 반대로 ActiveMQ에는 이 기능이 없으며 노드에 장애가 발생하면 작동이 중지됩니다. 이는 Kafka가 복제된 프로토콜 아키텍처를 사용하는 반면 ActiveMQ는 마스터-슬레이브 아키텍처에 의존하기 때문입니다.
또 다른 중요한 차이점은 Kafka가 ActiveMQ보다 확장성이 높다는 것입니다. 즉, 클러스터의 노드 수가 증가할수록 더 많은 메시지를 처리할 수 있습니다. 예를 들어 10노드 Kafka 클러스터는 시간당 최대 1,000만 개의 메시지를 처리할 수 있는 반면, 같은 수의 노드가 있는 ActiveMQ 클러스터는 시간당 300만 개의 메시지만 처리할 수 있습니다.
지금까지 메시징 프로토콜과 고급 기능 측면에서 Kafka와 ActiveMQ의 주요 차이점을 살펴보았습니다. 다음으로 각 시스템의 몇 가지 일반적인 사용 사례를 살펴보겠습니다.