Não foi possível detectar uma pasta pessoal hadoop válida
Montei o nó único Hadoop 2.2.0 e iniciei-o. Eu sou capaz de navegar o FS em
http://localhost:50070/
Então eu tentei escrever um arquivo falso usando o seguinte código.
public class Test {
public void write(File file) throws IOException{
FileSystem fs = FileSystem.get(new Configuration());
Path outFile = new Path("test.jpg");
FSDataOutputStream out = fs.create(outFile);
}
tenho a seguinte excepção
INFO: DEBUG - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginSuccess with annotation @org.apache.hadoop.metrics2.annotation.Metric(valueName=Time, value=[Rate of successful kerberos logins and latency (milliseconds)], about=, type=DEFAULT, always=false, sampleName=Ops)
INFO: DEBUG - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginFailure with annotation @org.apache.hadoop.metrics2.annotation.Metric(valueName=Time, value=[Rate of failed kerberos logins and latency (milliseconds)], about=, type=DEFAULT, always=false, sampleName=Ops)
INFO: DEBUG - UgiMetrics, User and group related metrics
INFO: DEBUG - Creating new Groups object
INFO: DEBUG - Trying to load the custom-built native-hadoop library...
INFO: DEBUG - Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path
INFO: DEBUG - java.library.path=/usr/lib/jvm/jdk1.7.0/jre/lib/amd64:/usr/lib/jvm/jdk1.7.0/jre/lib/i386::/usr/java/packages/lib/i386:/lib:/usr/lib
INFO: WARN - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
INFO: DEBUG - Falling back to shell based
INFO: DEBUG - Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping
INFO: DEBUG - Group mapping impl=org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback; cacheTimeout=300000
INFO: DEBUG - hadoop login
INFO: DEBUG - hadoop login commit
INFO: DEBUG - using local user:UnixPrincipal: qualebs
INFO: DEBUG - UGI loginUser:qualebs (auth:SIMPLE)
INFO: DEBUG - Failed to detect a valid hadoop home directory
java.io.IOException: HADOOP_HOME or hadoop.home.dir are not set.
at org.apache.hadoop.util.Shell.checkHadoopHome(Shell.java:225)
at org.apache.hadoop.util.Shell.<clinit>(Shell.java:250)
at
org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:639)
at org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java:468)
at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:456)
at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:424)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:905)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:886)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:783)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:772)
at com.qualebs.managers.HadoopDFS.writer(HadoopDFS.java:41)
Onde ponho o HADOOPHOME ou hadoop?casa.dir?
O sistema operativo é Ubuntu 11.10
os únicos ficheiros de configuração que configurei são os seguintes, com as propriedades adicionadas
- site principal.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
- hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
- mapred-site.xml.modelo
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
Aguardando ansiosamente as suas respostas.
9
Author: YoungHobbit, 2013-11-07
4 answers
Eu encontro a minha solução aqui fazendo isto:
System.setProperty("hadoop.home.dir", "/");
Esta excepção é lançada por checkHadoopHome () em org.apache.hadoop.util.Shell
12
Author: Yongfeng, 2017-02-02 16:01:17
Adicione-o ao ficheiro Bash do terminal se não estiver a usar o utilizador dedicado para o hadoop.
1. start terminal
2. sudo vi .bashrc
3. export HADOOP_HOME=YOUR_HADOOP_HOME_DIRECTORY(don't include bin folder)
4. save
5. restart terminal and check it if it's saved by typing : echo $HADOOP_HOME
0
Author: Aditya Peshave, 2013-11-07 19:47:42
Estava a receber as mesmas mensagens de erro de alguma coisa, não creio que esteja relacionado com caminhos. O meu lenhador foi colocado de forma imprópria.
Estava a causar o erro:
import org.apache.log4j._
trait Logger {
val logger = LogManager.getRootLogger
}
Fixei-o:
import org.apache.log4j._
trait Logger {
val logger = LogManager.getRootLogger
logger.setLevel(Level.INFO)
}
A solução pode não ser mudar os caminhos.
0
Author: Akavall, 2017-04-28 19:20:16
Este conjunto não está a funcionar nas janelas. Uma solução de trabalho é criar uma pasta no seu projecto (por exemplo, winutils/bin) e colocar os winutils.exe (ver https://wiki.apache.org/hadoop/WindowsProblems). Em seguida, no código Java adicione
static {
String OS = System.getProperty("os.name").toLowerCase();
if (OS.contains("win")) {
System.setProperty("hadoop.home.dir", Paths.get("winutils").toAbsolutePath().toString());
} else {
System.setProperty("hadoop.home.dir", "/");
}
}
Espero que ajude.
0
Author: florins, 2018-06-19 13:45:47