¿Todos los servicios de transmisión de datos son iguales?
Una parte vital de la finalización exitosa de cualquier proyecto es la selección de las herramientas adecuadas para realizar funciones básicas. Para los desarrolladores, la disponibilidad de varios servicios de mensajería para elegir siempre representa un desafío.
Una pregunta crucial sin respuesta es el uso de los servicios Apache Kafka o RabbitMQ. Ambas plataformas cuentan con varias funcionalidades y casos de uso que pueden ayudar a los usuarios a tomar una decisión informada.
Apache Kafka y RabbitMQ son dos plataformas líderes en el área de servicios de mensajería. Aunque ambas plataformas manejan la mensajería de manera diferente, la diferencia radica en su arquitectura, diseño y enfoque de entrega seleccionados.
Pero, ¿qué son Apache Kafka y RabbitMQ?
Apache Kafka y RabbitMQ son plataformas de código abierto que se utilizan para la transmisión de datos y vienen equipadas con sistemas pub/sub (que describiremos más adelante) que son comerciales, respaldados y utilizados por varias empresas.
¿Qué es Apache Kafka?
Apache Kafka, en términos simples, es un bus de mensajes optimizado para transmisiones y reproducciones de datos de alto acceso. Este robusto intermediario de mensajes permite que las aplicaciones procesen y reprocesen continuamente los datos de transmisión.
La plataforma de código abierto utiliza un enfoque de enrutamiento fácil y sin complicaciones que utiliza una clave de enrutamiento para enviar mensajes a un tema. Lanzada en 2011, la herramienta Kafka se creó para configuraciones de transmisión.
¿Qué es RabbitMQ?
RabbitMQ es un agente de mensajería integral con protocolos de soporte como el Protocolo avanzado de cola de mensajes (AMQP), el Transporte de telemetría MQ (MQTT) y el Protocolo de mensajería orientado a texto simple (o de transmisión) (STOMP).
RabbitMQ puede manejar casos de uso que buscan una alta eficiencia, como el procesamiento de pagos en línea. RabbitMQ también puede servir como intermediario de mensajes entre microservicios.
Lanzado en 2007, RabbitMQ comenzó como un elemento principal en los sistemas SOA y de mensajería. Hoy en día, sus funciones ampliadas también incluyen casos de uso de transmisión.
Si estás considerando usar Apache Kafka o RabbitMQ, sigue leyendo para conocer la diferencia en arquitecturas, enfoques y sus ventajas y desventajas de rendimiento.
Diferencias de arquitectura
Arquitectura de Apache Kafka
La arquitectura Apache Kafka utiliza un gran volumen de mensajes de publicación y suscripción y una plataforma de flujos que es rápida y escalable. El sólido almacén de mensajes, al igual que los registros, utiliza clústeres de servidores que contienen varios registros en temas (topics).
Todos los mensajes de Kafka cuentan con una clave, un valor y una marca de tiempo. El modelo de consumidor inteligente o intermediario ‘dummy’ no intenta rastrear los mensajes del consumidor y solo retiene los mensajes no leídos. Apache Kafka retiene todos los mensajes durante un período de tiempo definido.
Arquitectura de RabbitMQ
La arquitectura RabbitMQ hace uso de un intermediario de mensajes integral que implica variaciones en los diseños de comunicación punto a punto, solicitud/respuesta y publicación/suscripción.
El uso de un método de consumidor ‘dummy’ y corredor inteligente permite la entrega confiable de mensajes a los consumidores con una velocidad similar a la de un corredor que monitorea el estado de los consumidores.
Con el uso de métodos de comunicación síncronos o asíncronos, la plataforma brinda soporte adecuado para varios complementos, incluidos .NET, bibliotecas de clientes, Java, Node.js, Ruby y más.
También pone a disposición escenarios de implementación distribuidos junto con un clúster de múltiples nodos para la federación de clústeres sin depender de servicios externos.
Con RabbitMQ, los editores pueden transmitir mensajes a los intercambios y recuperar mensajes de las colas de los consumidores. Los productores de desacoplamiento de las líneas a través de los intercambios garantizan que los productores no tengan problemas con las opciones de enrutamiento codificadas.
Publicar/Suscribir (Pub/Sub)
La publicación/suscripción se encuentra entre los principales patrones de mensajería para la mensajería asíncrona, un esquema de mensajería en el que la producción de mensajes se desvincula de su procesamiento por parte de un consumidor.
Apache kafka
En Apache Kafka, la plataforma se crea para flujos y mensajes de publicación y suscripción de gran volumen, que están destinados a ser duraderos, rápidos y escalables. En esencia, Kafka pone a disposición un almacén de mensajes sostenible y un clúster de servidores.
RabbitMQ
En RabbitMQ, el diseño implica un intermediario de mensajes completo, que utiliza varias variaciones de patrones de estilo de comunicación punto a punto, solicitud/respuesta y pub-sub.
Modelo Push/Pull
Apache Kafka: método basado en extracción
Kafka utiliza un modelo de extracción en el que los consumidores realizan solicitudes de mensajes en lotes desde un desplazamiento específico. Apache Kafka también permite la agrupación larga, lo que detiene los bucles estrechos cuando ningún mensaje pasa por el desplazamiento.
El modelo de extracción sigue siendo lógico para Apache Kafka debido a sus particiones. Su plataforma pone a disposición el pedido de mensajes dentro de una barrera sin competir con los consumidores.
Este enfoque permite a los usuarios aprovechar el procesamiento por lotes de mensajes para una entrega de mensajes eficiente y un mejor rendimiento.
RabbitMQ: método basado en push
RabbitMQ envía mensajes al consumidor, lo que incluye una configuración de límite de captación previa esencial para evitar que el consumidor se sienta abrumado por múltiples mensajes.
También pueden ser útiles para mensajería de baja latencia. El propósito del método push es la distribución rápida de mensajes individuales individualmente, junto con la garantía de que todo se paralelice de manera uniforme y los mensajes se procesen en una cola ordenada, generalmente a medida que llegan.
Casos de uso
Apache kafka
Apache Kafka proporciona un corredor adicional en sí mismo, por lo que es más conocido y es un elemento popular de la plataforma. El corredor adicional ha sido premeditado y comercializado en la dirección de las configuraciones de procesamiento de flujo.
Además, la incorporación de Kafka Streams sirve como una alternativa a las plataformas de transmisión como Apache Flink, Apache Spark, Google Cloud Data Flow y Spring Cloud Data Flow.
La documentación de casos de uso excepcional proporciona un caso de uso detallado para Apache Kafka, incluidos sus registros de compromiso, abastecimiento de eventos, agregación de registros, métricas, seguimiento de actividad web y más tareas.
RabbitMQ
RabbitMQ ofrece una solución de mensajería integral con un uso generalizado entre la respuesta oportuna de los servidores web a las solicitudes en lugar de la respuesta forzada para realizar medidas que requieren muchos recursos mientras los usuarios esperan el resultado.
RabbitMQ también es excelente para distribuir mensajes a múltiples receptores, ya que ofrece muchas funciones para una entrega confiable, federación, herramientas de administración, enrutamiento, seguridad y otras funciones.
Con la asistencia de software adicional, RabbitMQ también puede abordar de manera efectiva varios casos de uso sustanciales. Una combinación con Apache Cassandra puede proporcionar acceso al historial de transmisión, o con el complemento LevelDB para acceder a una cola «infinita».
Conclusión
Tanto las plataformas Apache Kafka como RabbitMQ ofrecen una variedad de servicios críticos destinados a satisfacer muchas demandas.
RabbitMQ es suficiente para casos de uso simples que implican poco tráfico de datos. Además, con RabbitMQ, otros beneficios adicionales incluyen perspectivas de enrutamiento flexibles y opciones de cola de prioridad.
Por otro lado, si el caso de uso propuesto presenta la necesidad de datos masivos y alto tráfico, entonces vale la pena considerar Apache Kafka.
Puedes leer el artículo original en inglés en https://medium.com/better-programming/kafka-vs-rabbitmq-why-use-kafka-8401b2863b8b