Kafka, 吞吐率高， 多分区, 多副本, 基于发布订阅的分布式新闻系统， 支持大量数据传输
- 高吞吐量, 低延迟: 每秒可以处理几十万条消息， 最低延迟只有几毫秒， 每个主题可分为多个分区， 消费群体可以操作不同的分区
- 可扩展性: 集群支持热扩展
- 持久化, 可靠性: 消息持续到本地磁盘， 支持数据备份，防止丢失
- 容错性: 允许集群中节点失败(如果副本数量n, 则允许n-一个节点失败)
- 高并发: 支持数千个客户端同时读写
组成部分
- Broker: 新闻中间件处理节点， 一个 kafka 节点节点 broker, 一个或多个 broker 可以组成 kafka 集群
- Topic: 主题, 它可以理解为一个类别的名称， Kafka 根据 topic 对消息进行分类， 发布到 kafka 集群的每个消息都需要指定一个 topic, 不同的 topic 会被订阅该 topic 消费者消费
- Producer: 新闻制作者， 向 broker 客户端发送消息
- Consumer: 消费者， 从 broker 客户端读取消息
- ConsumerGroup: 每个 Consumer 属于特定的 ConsumerGroup, 一个消息可以多种不同 ConsumerGroup 消费, 但是一个 ConsumerGroup 只能有一个 Consumer 消费该消息
- Partition: 物理概念， 是一个文件夹(文件夹下有数据文件和相应的索引文件)， 一个 topic 可分为多个 partition, 分区的作用是做负载， 主题中的消息量很大， 因此，通过设置分区， 来分布式存储这些消息, 分区存储, 可以解决统一存储文件过多的问题， 提高读写吞吐量， 读写可同时在多个分区进行， 同一个topic不同分区的数据不重复， 每个 partition 内部信息有序
- Replication 副本: 为主题中的分区创建备份， 在集群中, 不同的副本将部署在不同的副本中 broker 上, 有一个作为 leader, 其他为 follower, 而且副本的数量不能大于broker节点的数量
在windows本地通过sarama包连接阿里云部署kafka时, 发送消息时， 报错:
kafka send failed: dial tcp: lookup Lily: no such host 其中Lily是我阿里云ECS的主机名 解决:
- 打开win本地的 hosts 文件 通过 win r 唤起运行, 输入 drivers, 进入 etc 中找到 hosts 文件, 记事本打开
- 将主机名和对应的IP填入 192.168.1.122. Lily
- 重试