Apache Kafka 分布式消息队列,最初在 Linkedin(领英)内部由 Jay Kreps、Neha Narkhede 和 Jun Rao 开发,并于 2010 年在 GitHub 上开源
如今的 Kafka 已经不再单纯是一个消息队列,而是逐渐衍生成为流处理的平台,并以 Kafka 为中心形成了流处理生态圈
成功的开源项目背后,通常都有一家默默支持它的公司, Kafka 背后的公司是 Confluent
一些有用的连接:
- 官方文档 官方文档是最好的教程
- 源代码 GitHub 上的源代码,Kafka 主要由 Scala 开发
- Kafka Summit 世界各地的 Kafka 峰会
Kafka 的几个概念:
- producer 在发布订阅模型中,消息的提供者
- consumer 在发布订阅模式中,消息的接收者
- broker Kafka 集群中的节点
- topic 主题
- partition 分区
- replication 副本