Escalonamento de tarefas e tarefas no Hadoop
Estou um pouco confuso sobre os Termos "agendamento de tarefas" e "agendamento de tarefas" em Hadoop quando estava a ler sobre agendamento justo atrasado neste slide.
por favor, corrija-me se estiver errado nas minhas seguintes suposições:
scheduler padrão, scheduler de capacidade e schedulers justos só são válidos em nível de trabalho quando várias tarefas são agendadas pelo Usuário. Eles não desempenham qualquer papel se houver apenas um único trabalho no sistema. Estes algoritmos de escalonamento base do formulário para "escalonamento de Tarefas"
cada trabalho pode ter vários mapas e reduzir tarefas e como eles são atribuídos a cada máquina? Como as tarefas são programadas para um único trabalho? Qual é a base para "agendamento de Tarefas"?
1 answers
No caso de escalonamento justo, quando há uma única tarefa em execução, essa tarefa usa todo o conjunto. Quando outros trabalhos são submetidos, slots de tarefas que libertam são atribuídos aos novos trabalhos, de modo que cada trabalho recebe aproximadamente a mesma quantidade de tempo de CPU.
Ao contrário do escalonamento por omissão do Hadoop , que forma uma fila de Tarefas, isto permite que as tarefas curtas terminem em tempo razoável, sem passar fome as tarefas longas. É também uma maneira fácil de compartilhar um cluster entre vários usuários. Partilha justa também pode trabalhar com prioridades de trabalho-as prioridades são usadas como pesos para determinar a fração de tempo total computado que cada trabalho recebe.
O CapacityScheduler foi concebido para permitir a partilha de um grande grupo, dando a cada organização uma garantia de capacidade mínima. A ideia central é que os recursos disponíveis no cluster Hadoop Map-Reduce são divididos entre várias organizações que coletivamente financiam o cluster com base em necessidades de computação. Há um benefício adicional que uma organização pode acessar qualquer excesso de capacidade não sendo usado por outros. Isto proporciona elasticidade para as organizações de uma forma rentável.