Como podemos construir tenancy multi em cima do ecossistema hadoop?
até agora, eu tenho olhado para conceitos como
Ele Federa o seu armazenamento distribuído (HDFS) com a ajuda de um namenode separado para cada partição HDFS federada. Problema: digamos que tem dois inquilinos para um único grupo. assim, 2 namenodes, 2 namenodes implicarão 2 servidores de colméia, 2 servidores oozie e similarmente 2 de cada um dos outros componentes hadoop que se comunicam com seu respectivo namenode e escrever em sua respectiva partição HDFS.
As quotas de cálculo poderiam ser aplicadas a cada inquilino.(say tenant 1-50% e tenant 2 - 50%)
Eu podia ... não encontrar como podemos desenvolver um ambiente semelhante multi-inquilinos para Hadoop cluster.O que eu estava a pensar fazer era como se cada inquilino (com os seus utilizadores) tivesse um {[[2]}
- calcular a quota (através do escalonador de capacidade)
- directório HDFS para cada inquilino em HDFS (como /usr/tenant1, /usr/tenant2)
Todos os utilizadores pertencentes ao grupo tenant1 terão acesso a escrever no directório hdfs (/usr/tenant1 / Utilizador)
que problema enfrentei era.. digamos que eu crio uma tabela da colmeia como um usuário tenant1, que criou a tabela /apps/Colmeia/warehouse similarmente /apps/oozie/data. o que eu estava pensando foi que ele vai criar tabela no diretório home hdfs do Usuário e, portanto, apenas os usuários tenant1 terão acesso a ele. mas não aconteceu.
Posso obter alguma ajuda em Como devo proceder com o meu desenvolvimento para criar multi tenancy sobre o ecossistema Hadoop?1 answers
Você pode implementar com vários espaços de nomes em certa medida para satisfazer as suas necessidades.
Peço-lhe que dê uma vista de olhos no Blog Apache no espaço de nomes.
Https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/Federation.html
Você pode implementar vários espaços de nomes dentro de um código de nomes.
Gentil respeito Andrew