Qual é a diferença entre Kafka Cluster e Kafka Broker?

Question

Qual é a diferença entre Kafka Cluster e Kafka Broker?

tem Kafka cluster e Kafka broker o mesmo significado?

Sei que o cluster tem vários corretores.).

Mas quando escrevo códigos para produzir mensagens, acho estranho.

props.put("bootstrap.servers", "kafka001:9092, kafka002:9092, kafka003:9092");

Este é o endereço do corretor ou o endereço de grupo? Se este é o endereço do corretor, eu penso que não é bom porque nós temos que modificar acima do endereço quando corretores contam mudanças.
(Mas parece ser o endereço de corretor..)

Além disso, vi na Amazónia, pode adicionar corretor a cada AZ.
Significa que não podemos ter muitos corretores. (Três ou quatro, no máximo?)

E eles orientaram - nos.devíamos escrever estas Moradas ao bootstrap.servidor option as a, ' lista separada.

Porque não nos guiam para usar a morada dos clusters?

0

apache-kafka aws-msk kafka-cluster

Author: mike, 2020-05-05

Source

1 answers

score 2 · Accepted Answer

A Kafka cluster é um grupo de Kafka brokers.

Ao utilizar a API do produtor, não é necessário mencionar todos os corretores dentro do grupo nas propriedades {[[2]}. A documentação de configuração do produtor em bootstrap.os servidores dão os detalhes completos:

Uma lista de pares host/port a usar para estabelecer a ligação inicial ao aglomerado de Kafka. o cliente fará uso de todos os servidores, independentemente dos servidores especificados aqui para inicialização-isto lista apenas impacta as máquinas iniciais usadas para descobrir o conjunto completo de servidores. Esta lista deve estar no formulário host1: port1, host2:port2,.... Uma vez que estes servidores são usados apenas para a conexão inicial para descobrir a adesão de cluster completo (que pode mudar dinamicamente), esta lista não precisa conter o conjunto completo de Servidores (você pode querer mais de um, no entanto, no caso de um servidor estar em baixo).

Todos os corretores de um grupo partilham meta-informação de outros corretores no mesmo grupo. conjunto. Portanto, é suficiente mencionar apenas um corretor nas propriedades bootstrap-servers. No entanto, você ainda deve mencionar mais de um no caso de um corretor não estar disponível por qualquer razão.