Kafka，Mq和Redis作为消息队列使用时的差异有哪些?

Kafka是一种高性能的跨语言分布式Publish/Subscribe消息队列系统，同样是与RabbitMQ和Redis相比的一个选择。RabbitMQ是一个开源的消息队列系统，使用Erlang编写，支持多种协议，包括AMQP、XMPP、SMTP、STOMP，适合于企业级开发。Redis是一个Key-Value型的NoSQL数据库，开发维护活跃，虽然它是一个Key-Value数据库存储系统，但也支持消息队列功能，可以测试结果显示，当数据较小时，Redis的性能比RabbitMQ要高，而大于10K的数据规模下Redis的性能则不能忍受比低。而对于出队操作而言，无论数据大小，Redis都表现出了非常优秀的性能，而RabbitMQ的出队性能则远低于Redis。

Kafka的优势在于它完全支持分布式系统，并具有快速持久化、高吞吐等特点，它可以在普通服务器上实现10W/s的吞吐速度。Kafka还支持Hadoop数据并行加载，可以解决像Hadoop这样的日志数据和离线分析系统需要实时处理的限制问题。对于本课题所研究的系统，Kafka通过Hadoop的并行加载机制来统一在线和离线消息处理。

在架构模型方面，RabbitMQ适用于AMQP协议，以broker为中心，具有消息的确认机制；而Kafka遵循一般的消息队列结构，以consumer为中心，没有消息确认机制。在吞吐量方面，Kafka具有较高的性能，支持批量处理和zero-copy机制，数据存储和获取为本地磁盘顺序批量操作，具有高效率。而RabbitMQ对消息的可靠传递和事务支持方面较为适用，但不支持批量操作，存储可使用内存或硬盘。在可用性方面，RabbitMQ支持miror queue，可以在主queue失效时由miror queue接管。