Problema com-libjars em hadoop

Também vale a pena notar um ponto subtil mas importante: a forma de especificar Frascos adicionais para JVMs executando mapa distribuído reduz tarefas e para JVM executando cliente de trabalho é muito diferente.

• -a libjars torna os frascos disponíveis apenas para JVMs a correr o mapa remoto e a reduzir a tarefa

• Para tornar estes mesmos JAR disponíveis para o JVM cliente (o JVM que é criado quando executa o comando hadoop jar), é necessário definir o ambiente HADOOP_CLASSSPATH variável:

$ export LIBJARS=/path/jar1,/path/jar2
$ export HADOOP_CLASSPATH=/path/jar1:/path/jar2
$ hadoop jar my-example.jar com.example.MyTool -libjars ${LIBJARS} -mytoolopt value

Ver: http://grepalex.com/2013/02/25/hadoop-libjars/

Outra causa de comportamento incorreto-libjars pode estar na implementação e inicialização erradas da classe de trabalho personalizado.

• classe de trabalho deve implementar interface de ferramentas
• a instância de classe de configuração deve ser obtida chamando getConf () em vez de criar uma nova instância;

Ver: http://kickstarthadoop.blogspot.ca/2012/05/libjars-not-working-in-custom-mapreduce.html

Quando estiver a indicar os '- LIBJARS ' com o comando Hadoop jar. Primeiro certifique-se de editar a sua classe de condução como mostrado abaixo:

    public class myDriverClass extends Configured implements Tool {

      public static void main(String[] args) throws Exception {
         int res = ToolRunner.run(new Configuration(), new myDriverClass(), args);
         System.exit(res);
      }

      public int run(String[] args) throws Exception
      {

        // Configuration processed by ToolRunner 
        Configuration conf = getConf();
        Job job = new Job(conf, "My Job");

        ...
        ...

        return job.waitForCompletion(true) ? 0 : 1;
    }
}

Agora edite o seu comando "hadoop jar" como mostrado abaixo:

Hadoop jar Youraplication.jar [myDriverClass] args-libjar localização / para/jar / file

Dentro do nosso principal () estamos a chamar ToolRunner.executar (nova configuração (), nova classe myDriverClass (), args) - isto executa a ferramenta dada por Ferramenta.executar (texto[]), Depois de analisar com os argumentos genéricos indicados. Ele usa a configuração dada, ou constrói um se ele é nulo e, em seguida, define o Configuração da ferramenta com a versão modificada do conf.

Agora dentro do método de execução, quando chamamos getConf () temos a versão modificada da configuração. Então certifique-se que você tem a linha abaixo em seu código. Se você implementar tudo o resto e ainda fazer uso da configuração conf = nova configuração(), nada iria funcionar.

Conf de configuração = getConf ();