AWS EMR executar" bootstrap " script em todas as máquinas já em execução no cluster

Tenho um grupo EMR que funciona 24 horas por dia. Não consigo desligá-lo e lançar o novo.

o que eu gostaria de fazer é executar algo como a acção bootstrap no cluster já em execução, de preferência usando Python e boto ou AWS CLI.

Posso imaginar fazer isto em dois passos:

1) Execute o script em todas as instâncias em execução (seria bom se isso fosse possível, por exemplo, a partir de boto)

2) adicionar o programa às acções do 'bootstrap' para o caso de eu querer redimensionar o aglomerado.

então a minha pergunta é: é possível algo assim usando o robot ou pelo menos o AWS CLI? Estou passando pela documentação e código fonte no github, mas não sou capaz de descobrir como adicionar novas ações "bootstrap" quando o cluster já está em execução.

Author: ziky90, 2014-10-26

1 answers

Resposta tardia, mas vou tentar. Isso vai ser difícil.

Pode instalar o agente do Amazon SSM e usar a interface de comando remoto para lançar um comando em todas as instâncias. No entanto, você terá que atribuir os papéis SSM apropriados para as instâncias, o que exigirá a reconstrução do cluster AFAIK. No entanto, quaisquer comandos futuros não necessitarão de reconstrução.

Você seria então capaz de usar o CLI para executar comandos em todos os nós (provavelmente também em boto), não verifiquei isso).

 6
Author: Chris Chambers, 2016-02-20 22:05:43