Gerente Independente Vs Fios Vs. Mesos
em 3 nós Spark/Hadoop cluster que scheduler(Gestor) irá funcionar de forma eficiente? Atualmente Eu estou usando Gerenciador autônomo, mas para cada trabalho spark eu tenho que especificar explicitamente todos os parâmetros de recursos (p.ex.: núcleos,memória etc),que eu quero evitar. Eu tentei fio também, mas ele está correndo 10X mais lento do que Gerente autônomo.
Posso ajudar?Detalhes Do Agregado: Faísca 1.2.1 e Hadoop 2.7.1
2 answers
A faísca Apache corre nos seguintes modos de aglomerado
- Local
- Standalone
- fios
- Mesos
- Kubernetes
- Nomad
O modo Local é utilizado para executar aplicações Spark no sistema operativo. Este modo é útil para o desenvolvimento e teste de aplicações Spark.
Os modosComo os modos standalone, Yarn, Mesos e Kubernetes são o ambiente distribuído. No ambiente distribuído, a gestão de recursos é muito importante para gerir os recursos informáticos. Assim, para gerenciar recursos computacionais de forma eficiente, precisamos de um bom sistema de gestão de recursos ou de um escalonamento de recursos.
Standalone é bom para pequenos aglomerados de faíscas, mas não é bom para aglomerados maiores (há uma parte superior de servidores de faísca em execução(mestre + escravo) em nós de aglomerados). Estes demónios precisam de recursos dedicados. Assim, standalone não é recomendado para maiores clusters de produção. A Standalone suporta apenas aplicações de faísca e it não é Gestor de clusters de finalidade geral. No contexto empresarial em que temos uma variedade de cargas de trabalho para executar, spark standalone cluster manager não é uma boa escolha.
No caso de fio e modo Mesa, a faísca funciona como uma aplicação e não há servidores por cima. Assim, podemos usar fio ou mesa para melhor desempenho e escalabilidade. Ambos os fios e Mesos são de uso geral de gestão de recursos distribuídos e eles suportam uma variedade de cargas de trabalho como MapReduce, faísca, Flink, Storm etc... com orquestração de contentores. Eles são bons para a gestão de grandes grupos de produção de empresas.
([1]) entre fios e Mesos, o fio é especialmente concebido para cargas de trabalho Hadoop, enquanto o Mesos é concebido para todos os tipos de cargas de trabalho. O YARN é o programador de nível de aplicação e o Mesos é o programador de nível OS. é melhor usar o fio se você já estiver executando o cluster Hadoop (Apache/CDH/HDP). No caso de um novo projeto, melhor usar Mesa(Apache, mesosfera). Há also a provision to use both of them in colocated manner using Project called Apache Myriad.Kubernetes - Sistema de código aberto para automatizar a implementação, escala e gestão de aplicações contentorizadas. Este modo é um estado experimental. Então ele usou para executar aplicações de faíscas em forma de contenção.
Nomad - é outro sistema de código aberto para executar aplicações Spark. Este gestor de clusters não é oficialmente apoiado pelo projecto Spark como gestor de clusters.
De todos os modos acima, o Apache mesa tem um recurso melhor. gerenciamento.
Por favor, consulte esta ligação, que contém uma explicação pormenorizada da experiência sobre Fios vs Mesos. http://www.quora.com/How-does-YARN-compare-to-Mesos
Num conjunto de 3 nós, eu iria com o gestor independente, a sobrecarga dos processos adicionais não compensaria {[[2]}