hdfs

Como copiar o ficheiro de HDFS para o sistema de ficheiros local . Não há nenhuma localização física de um arquivo SOB ... vo, nem mesmo diretório . Como posso transferi-los para o meu local para mais validações?fui julgado através do winscp .

Preciso de copiar uma pasta do sistema de ficheiros local para HDFS. Eu poderia encontrar qualquer exemplo de mover uma pasta, incluindo a sua sub-pasta, para HDFS :~$hadopp fs -copyFromLocal /home/ubuntu/Source-Folder-To-Copy HDFS-URI

Quando configurei o cluster hadoop, li que o namenode funciona em 50070 e configurei-o em conformidade e está a funciona ... /localhost:9000/ ou hdfs://localhost:8020 Qual é exactamente o número adequado para definir a porta do namenode?

construí um ambiente Hadoop com um único nó em CentOS usando o repositório Cloudera CDH. Quando quero copiar um ficheir ... yHadoop/file1.txt': No such file or directory Tenho a certeza que este ficheiro existe. Por favor,ajuda-me, obrigado!

existe uma API HDFS que possa copiar um directório local inteiro para as HDFS? Eu encontrei uma API para copiar arquivos, mas existe uma para diretórios?

Existe um comando hdfs para listar os ficheiros no directório HDFS por hora, ascendente ou descendente? Por omissão, o ... curei por respostas, o que consegui foi uma solução. Mas há alguma maneira melhor, inbuilt na linha de comando hdfs dfs?

não sei o que se passa aqui, mas estou a tentar copiar um ficheiro simples de uma pasta no meu sistema de ficheiros loc ... /ml-100k / U. dados. Por isso, ele não copiaria automaticamente o arquivo a partir de um determinado local para hdfs ?

Montei o nó único Hadoop 2.2.0 e iniciei-o. Eu sou capaz de navegar o FS em http://localhost:50070/ Então eu tentei escr ... t;localhost:9001</value> </property> </configuration> Aguardando ansiosamente as suas respostas.

Olá, sou novo no hadoop e estou a tentar criar um directório em hdfs chamado twitter_data. Configurei o meu vm no softla ... ecialistas em hdfs. Tenho passado demasiado tempo naquilo que parece ser um assunto simples. Obrigado antecipadamente.

Tenho duas configurações de HDFS e quero copiar (não migrar ou mover) algumas tabelas de HDFS1 para HDFS2. Como posso copiar dados de um HDFS para outro HDFS? É possível através do Sqoop ou de outra linha de comando?

Sou novo em Haddoop. Recentemente estou a tentar processar (apenas ler) muitos pequenos ficheiros em hdfs/hadoop. O tama ... ero De Manipuladores De Dados: 8 DataNode Número máximo de tópicos de transferência: 4096 1GBps ethernet. Obrigado.

sou novo no hadoop e vou desenvolver uma aplicação que processa várias imagens usando o hadoop e mostra aos utilizadores ... lização? Como posso alimentar o executável com imagens? Não encontro outros exemplos a não ser alimentá-lo com stdin.

Quero começar um trabalho de streaming hadoop, mas não se queixa.: 15/05/19 23:17:34 ERROR streaming.StreamJob: Error La ... fault: Created trash checkpoint: /user/myname/.Trash/150519231233 Mas continuo a ter o erro original. O que devo fazer?

Sou novo no Hadoop e tento aprender mais sobre isso. Às vezes, eu senti que olhar para o código fonte para uma classe pa ... os ficheiros do Hadoop Jar que descarrego para executar o framework? Por favor, esclareça as minhas dúvidas...obrigado.

copiar o ficheiro de uma localização hdfs para outra usando o comando-cp Comando - hadoop fs -cp -p /user/cloudera/da ... cheiro. é obrigatório criar directório e depois copiar? Como no caso atual explicado acima, eu não recebi nenhum erro.

comando: [hdfs@sandbox oozie]$ hadoop dfsadmin -report|head -n 100 Resultado: DEPRECATED: Use of this script to exe ... 0.00% Xceivers: 4 Last contact: Thu Aug 11 23:12:04 UTC 2016 Qual é a 'Cache' usada%, não DFS usada especialmente???

Sou novo no sistema de ficheiros distribuídos do hadoop, fiz a instalação completa do nó único do hadoop na minha máqui ... on: Permission denied: user=root, access=WRITE, inode="":hduser:supergroup:rwxr-xr-x hduser@ubuntu:/usr/local/hadoop$

Estou a perguntar sobre o Hadoop 2.x series. Há conselhos contraditórios sobre isto na Internet. Como neste casoonde ele ... isso responde onde é mencionado que hadoop.tmp.dir seja definido em hdfs-site.xml. Qual é o lugar certo para colocá-lo?

Esta é uma questão conceptual que envolve Hadoop/HDFS. Digamos que tem um ficheiro com mil milhões de li ... ficamente, cada vez que a função map() é chamada quais são os seus parâmetros Key key and Value val? Obrigado., Deepak

o Hadoop tem o parâmetro de configuração hadoop.tmp.dir que, de acordo com a documentação, é ` ' uma bas ... ente o mesmo caminho criado em HDFS. isto significa que hadoop.tmp.dir se refere a uma localização temporária emHDFS ?