Como copiar o ficheiro de HDFS para o sistema de ficheiros local

Como copiar o ficheiro de HDFS para o sistema de ficheiros local . Não há nenhuma localização física de um arquivo SOB O arquivo, nem mesmo diretório . Como posso transferi-los para o meu local para mais validações?fui julgado através do winscp .

Author: 030, 2013-07-24
Source

6 answers

  1. bin/hadoop fs -get /hdfs/source/path /localfs/destination/path
  2. bin/hadoop fs -copyToLocal /hdfs/source/path /localfs/destination/path
  3. Aponte o seu navegador para HDFS WEBUI(namenode_machine:50070), navegar pelo ficheiro que pretende copiar,percorrer a página e carregar em obter o ficheiro .
 177
Author: Tariq, 2016-01-14 19:09:10

Para copiar ficheiros de HDFS para o sistema de ficheiros local, poderá executar o seguinte comando:

hadoop dfs -copyToLocal <input> <output>

  • <input>: a localização da pasta HDFS( p. ex. / mydata) que deseja copiar
  • <output>: a localização da pasta de destino (por exemplo ~/Documents)
 13
Author: Shafiq, 2015-04-21 11:57:18

Em Hadoop 2.0, 

hdfs dfs -copyToLocal <hdfs_input_file_path> <output_path>

Onde,

  • hdfs_input_file_path talvez obtido de http://<<name_node_ip>>:50070/explorer.html

  • output_path é a localização local do ficheiro, onde o ficheiro deve ser copiado.

  • Também pode utilizar get no lugar de copyToLocal.

 13
Author: Ani Menon, 2016-08-08 09:52:11

Você pode realizar de ambas as maneiras.

1.hadoop fs -get <HDFS file path> <Local system directory path>
2.hadoop fs -copyToLocal <HDFS file path> <Local system directory path>

Ex:

Os meus ficheiros estão localizados em / sourcedata / mydata.txt Quero copiar o ficheiro para o sistema de ficheiros Local nesta localização / utilizador / ravi/mydata

hadoop fs -get /sourcedata/mydata.txt /user/ravi/mydata/
 5
Author: Ramineni Ravi Teja, 2017-02-06 19:46:13
Isto funcionou comigo no meu caso VM do Ubuntu.

Hdfs dfs-copyToLocal [directório hadoop] [directório local]

 1
Author: Zach, 2018-03-06 22:32:11 
bin/hadoop fs -put /localfs/destination/path /hdfs/source/path
 -2
Author: Hadoop maniac, 2016-01-31 14:19:35