A porta de Namenode padrão do HDFS é 50070.Mas encontrei em alguns lugares 8020 ou 9000

Quando configurei o cluster hadoop, li que o namenode funciona em 50070 e configurei-o em conformidade e está a funcionar bem.

mas em alguns livros encontrei o endereço do nó do nome:

hdfs://localhost:9000/

ou

hdfs://localhost:8020

Qual é exactamente o número adequado para definir a porta do namenode?

 30
Author: arghtype, 2014-04-04

7 answers

O endereço por omissão da interface web do namenode é http://localhost:50070/. Você pode abrir este endereço em seu navegador e verificar as informações do namenode.

O endereço por omissão do servidor de namenode é hdfs://localhost:8020/. Você pode se conectar a ele para acessar HDFS pela API HDFS. É o verdadeiro endereço de serviço.

 23
Author: zsxwing, 2014-04-04 07:36:39

As portas de Hadoop predefinidas são as seguintes: (portas HTTP, elas têm interface web):

Daemon                   Default Port  Configuration Parameter
-----------------------  ------------ ----------------------------------
Namenode                 50070        dfs.http.address
Datanodes                50075        dfs.datanode.http.address
Secondarynamenode        50090        dfs.secondary.http.address
Backup/Checkpoint node?  50105        dfs.backup.http.address
Jobracker                50030        mapred.job.tracker.http.address
Tasktrackers             50060        mapred.task.tracker.http.address
Internamente, o Hadoop usa principalmente o Hadoop IPC, que significa comunicador Inter Process, para comunicar entre servidores. A tabela seguinte apresenta as portas e protocolos que o Hadoop usa. Esta tabela não inclui os portos HTTP mencionados acima.
Daemon      Default Port        Configuration Parameter     
------------------------------------------------------------
Namenode    8020                fs.default.name         
Datanode    50010               dfs.datanode.address        
Datanode    50020               dfs.datanode.ipc.address                                    
Backupnode  50100               dfs.backup.address          

Confira este link Para mais informações: http://blog.cloudera.com/blog/2009/08/hadoop-default-ports-quick-reference/

 22
Author: msoliman, 2016-03-09 19:47:53

Porque o padrão é diferente para diferentes configurações e distribuições do hadoop. Podemos sempre configurar o porto alterando fs.default.name ou fs.defaultFS properties as below in core-site.xml

<configuration>
 <property>
     <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
 </property>
</configuration>

Para Hadoop 1.0.4 se não mencionar o número do Porto abaixo

<value>hdfs://localhost</value>

Então a porta padrão tomada é 8020. Mas para algumas das versões como .20 eu li que são 9000. Portanto, depende da versão do hadoop que você está usando.

Mas toda a configuração e a distribuição está usando 50070 como número de porta padrão para UI HDFS.

 3
Author: sathish reddy, 2014-04-04 09:06:21

Para aceder à interface web do Hadoop, é necessário escrever http://localhost:50075/ apesar do teu site principal.o xml está a ter http://localhost:9000 porque é para pedidos hdfs e 50075 é a porta padrão para UI WEB.

 3
Author: Hemanth, 2015-09-08 14:25:07

50070 é a porta UI por omissão para o namenode . enquanto 8020/9000 é a porta Inter Process Communicator (IPC) para namenode.

Referência ao porto IPC: https://en.wikipedia.org/wiki/Inter-process_communication

 1
Author: Bijoy, 2015-09-08 14:24:48

50070 é o porto UI predefinido do Namenode para http. para https, o seu 50470. 9000 é o porto IPC (comunicador Inter Process). Se carregar em localhost: 50070, poderá ver as configurações do namenode com uma visão geral 9000 (activo) e no localhost: 9000 irá receber a mensagem: "Parece que você está fazendo um pedido HTTP para uma porta de IPC Hadoop. Esta não é a porta correcta para a interface web neste servidor."necessário para as operações de metadados do sistema de ficheiros.

 0
Author: user2235729, 2017-08-07 08:13:26

9000 é a porta de serviço predefinida HDFS.Isto não tem uma interface web.50070 é o porto de UI Web de NameNode padrão (embora, no hadoop 3.0 em diante 50070 é atualizado para 9870)

 0
Author: Binita Bharati, 2018-04-05 08:27:48