Como podemos construir tenancy multi em cima do ecossistema hadoop?

Estamos a tentar construir vários imóveis em cima do ecossistema hadoop.

O nosso ecossistema normalmente inclui componentes hadoop como hdfs, fios, Colmeia, oozie, guarda-zoológico.

até agora, eu tenho olhado para conceitos como

  1. Federação HDFS
Ele Federa o seu armazenamento distribuído (HDFS) com a ajuda de um namenode separado para cada partição HDFS federada.

Problema: digamos que tem dois inquilinos para um único grupo. assim, 2 namenodes, 2 namenodes implicarão 2 servidores de colméia, 2 servidores oozie e similarmente 2 de cada um dos outros componentes hadoop que se comunicam com seu respectivo namenode e escrever em sua respectiva partição HDFS.

  1. escalonador de Capacidade
As quotas de cálculo poderiam ser aplicadas a cada inquilino.(say tenant 1-50% e tenant 2 - 50%)

  1. recursos de arrendamento múltiplos MAPR
Eu podia ... não encontrar como podemos desenvolver um ambiente semelhante multi-inquilinos para Hadoop cluster.

O que eu estava a pensar fazer era como se cada inquilino (com os seus utilizadores) tivesse um {[[2]}
  1. calcular a quota (através do escalonador de capacidade)
  2. directório HDFS para cada inquilino em HDFS (como /usr/tenant1, /usr/tenant2)

Todos os utilizadores pertencentes ao grupo tenant1 terão acesso a escrever no directório hdfs (/usr/tenant1 / Utilizador)

que problema enfrentei era.. digamos que eu crio uma tabela da colmeia como um usuário tenant1, que criou a tabela /apps/Colmeia/warehouse similarmente /apps/oozie/data. o que eu estava pensando foi que ele vai criar tabela no diretório home hdfs do Usuário e, portanto, apenas os usuários tenant1 terão acesso a ele. mas não aconteceu.

Posso obter alguma ajuda em Como devo proceder com o meu desenvolvimento para criar multi tenancy sobre o ecossistema Hadoop?

Author: phoenix, 2015-07-10

1 answers

Você pode implementar com vários espaços de nomes em certa medida para satisfazer as suas necessidades.

Peço-lhe que dê uma vista de olhos no Blog Apache no espaço de nomes.

Https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/Federation.html

Você pode implementar vários espaços de nomes dentro de um código de nomes.

Gentil respeito Andrew

 0
Author: vvall, 2015-12-28 09:48:33