Frascos para hadoop mapreduce
estou a seguir este tutorial hadoop mapreduce dado pelo Apache. O código Java dado lá usa estas classes Apache-hadoop:
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
mas qual é o repositório Apache formal/autêntico para estes frascos e frascos?
Se os frascos forem enviados juntamente com o hadoop, por favor, diz-me o caminho.editar : Outra questão não dá instruções claras. Eu encontrei a resposta do seguinte modo
Este tutorial menciona:
Download Hadoop-core-1.2.1.jar, que é usado para compilar e executar o programa MapReduce. Visite a seguinte ligação http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-core/1.2.1 para baixar o frasco.
isto parece um repositório autêntico.
6 answers
Este tutorial menciona :
Download Hadoop-core-1.2.1.jar, que é usado para compilar e executar o programa MapReduce. Visite a seguinte ligação http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-core/1.2.1 para baixar o frasco.
Então aqui você pode encontrar todos os frascos para diferentes versões
O tutorial que está a seguir usa o Hadoop 1.0. O que significa que os frascos que você tem e os que o tutorial está usando são diferentes. Se estiver a utilizar Hadoop 2.X, siga um tutorial que faça uso de exatamente essa versão. Você não precisa baixar frascos de terceiros, você só precisa saber o uso adequado da API dessa versão hadoop específica.
Depois, nos ficheiros do projecto, abro o pom.xml.
Eu adiciono dentro de
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-core</artifactId>
<version>0.20.2</version>
</dependency>
Com a versão actual 2.7.1, eu estava a tropeçar em {[[1]}, mas descobri que este frasco parece estar dividido em vários mais pequenos.
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-common</artifactId>
<version>2.7.1</version>
</dependency>
...funcionou comigo (...não faço ideia do que isto significa: [[6]} https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapreduce/2.7.1/ )
Se tiver este tipo de erro, escreva o comando no terminal:
Export HADOOP_HOME=$(hadoop classath)
Nota: Tem de verificar o seu próprio nome configurado hadoop ./ bashrc file. No momento da instalação do hadoop, definimos o caminho Hadoop e java .ficheiro bashrc. Temos que verificar aqui em baixo podemos ver isso ao lado da exportação .
A melhor maneira é baixar o Hadoop (3.x. y) e incluir os frascos abaixo de hadoop-3.x.y/share/hadoop/mapreduce
1. hadoop-common-3.x.y.jar
2. hadoop-mapreduce-client-core-3.x.y.jar