Qual é a utilização da classe configurada nos programas Hadoop

A maioria dos programas Hadoop MapReduce são assim: public class MyApp extends Configured Implements Tool { @Overri ... é o uso de Configured? Como Tool e Configured ambos têm getConf() e setConf() em comum. O que fornece à nossa aplicação?

Desempenho em HDFS para ficheiros pequenos

Sou novo em Haddoop. Recentemente estou a tentar processar (apenas ler) muitos pequenos ficheiros em hdfs/hadoop. O tama ... ero De Manipuladores De Dados: 8 DataNode Número máximo de tópicos de transferência: 4096 1GBps ethernet. Obrigado.

Explicação da arquitectura tez Apache

Estava a tentar ver o que faz o Apache Tez com o Hive muito mais rápido do que o mapa reduzir com o hive. Não consigo entender o conceito de DAG. Qualquer um tem uma boa referência para entender a arquitetura do Apache tez.

Interface gráfica para usar o Hadoop

Existe uma maneira fácil de usar o Hadoop que não seja com a linha de comando? Que Ferramentas estás a usar e qual é a melhor?

A correr o Amazon EMR com um AMI personalizado?

Eu preciso executar uma tarefa personalizada de C++ como uma redução de mapa na Amazon, e estava planejando usar o strea ... obviamente, está no s3, mas posso realmente empacotá-lo para que não dependa de nenhuma libs compartilhada? Obrigado.

Escalonamento de tarefas e tarefas no Hadoop

Estou um pouco confuso sobre os Termos "agendamento de tarefas" e "agendamento de tarefas" em Hadoop quando estava a ler ... buídos a cada máquina? Como as tarefas são programadas para um único trabalho? Qual é a base para "agendamento de Tarefas"?

Qual é a diferença entre matiz, fio e OOZIE

Eu entendo os conceitos de HDFS e Map Reduce e como é importante mover a lógica de processamento para os dados para aume ... lgo mais). Estou certo em fazer esta suposição ou há uma diferença muito mais fundamental entre eles? Obrigado. Kay

Processar imagens com o hadoop

sou novo no hadoop e vou desenvolver uma aplicação que processa várias imagens usando o hadoop e mostra aos utilizadores ... lização? Como posso alimentar o executável com imagens? Não encontro outros exemplos a não ser alimentá-lo com stdin.

Onde está o classpath definido para hadoop

Onde está o fecho para o conjunto hadoop? Quando eu comando o comando abaixo dá-me O fecho. Onde está o conjunto de claspath? bin/hadoop classpath estou a usar o hadoop 2. 6. 0

O que é o arquivo de sequência em hadoop?

sou novo para mapear-reduce e quero entender o que é sequência de dados de entrada? Estudei no Livro de Hadoop, mas foi difícil para mim entender.

Diferença entre MapR-DB e Hbase

sou um pouco novo em MapR, mas estou ciente sobre hbase. Eu estava passando por um dos vídeos onde eu descobri que Mapr- ... o mesmo código que eu usei para Apache hadoop, esse código funciona aqui? Por favor, ajude-me a evitar esta confusão.

O que é isso?

Sou novo nos Big Data. Quero saber sobre o Hue. Tudo o que sei sobre Hue é que é uma interface web para gerenciar o ecos ... ecisa). Estou a executar o Apache Hadoop 1.2.1 em Modo pseudo-distribuído com o PIG e o HIVE obrigado antecipadamente

como encontrar o HADOOP HOME path no Linux?

Estou a tentar executar o código java abaixo num servidor hadoop. javac -classpath ${HADOOP_HOME}/hadoop-${HADOOP_VERSI ... reduce/./:/usr/lib/hadoop-0.20-mapreduce/lib/*:/usr/lib/hadoop-0.20-mapreduce/.//* Alguém tem alguma ideia sobre isto?

O Gestor de recursos do Hadoop não está a iniciar

sou novo no Hadoop por isso comecei a criar um aglomerado de Hadoop parcialmente distribuído em localhost. Eu criei um ... ;localhost:8021</value> </property> </configuration> Agradeço a ajuda. Como é que resolvo isto ??

Como configurar o Hive para usar o Spark?

Tenho um problema em usar a colmeia com faísca. Instalei um único nó HDP 2.1 (Hadoop 2.4) via Ambari no meu CentOS 6.5. ... meia use faísca em vez de MapReduce? Há outras formas de o mudar? (Eu já tentei mudá-lo via ambari e no hive-site.xml)

Colmeia Apache como arredondar para 2 casas decimais?

Na verdade, estou à procura de mais detalhes sobre a função sum na colmeia Apache. Até agora, entendi que posso especifi ... oma? A minha escala de precisão será preservada? O resultado será truncado ou arredondado? O que perdi? Muito obrigado.

Declarações de casos na colmeia

Ok, eu tenho um seguinte código para marcar os registos que têm o month_cd mais alto em tabl com bandeira binária: Sel ... az nenhum sentido para mim, e parece ser demasiado óbvio para ser um erro no motor de execução. O que me está a escapar?

'Plugin' do Eclipse para o Hadoop 2. 6. 0

Quero escrever trabalhos de MapReduce em Java. Para isso eu instalei Hadoop 2.6.0 no Ubuntu 14.04 LTS VM. A pasta de ins ... ar trabalhos Hadoop MapReduce? Se isso não for possível, quais são as alternativas? de escrever trabalhos de MapReduce?

lista de tarefas do hadoop desactualizada

Estou a aprender hadoop a usar um nó vm da cloudera e passei por esta linha. hadoop job -list tenho um aviso (a util ... sk-id>] | [-set-priority <job-id> <priority>] Então por que é depreciada? Está a escapar-me alguma coisa?

Há alguma imagem oficial do Docker para o Hadoop?

Alguém sabe onde estão as imagens oficiais da Hadoop, por exemplo, fio, HDFS? Gostaria de usá-los num ancoradouro. Obrigado. Klaus