Valor da pasta CONF Hadoop do agregado

configurei um aglomerado(fio) usando Ambari com 3 VMs como hospedeiros.

Onde posso encontrar o valor do HADOOP_ CONF_DIR ?

# Run on a YARN cluster
export HADOOP_CONF_DIR=XXX
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn-cluster \  # can also be `yarn-client` for client mode
  --executor-memory 20G \
  --num-executors 50 \
  /path/to/examples.jar \
  1000
Author: nish1013, 2015-12-17
Source

2 answers

Instalar o Hadoop também. No meu caso, instalei-o em /usr / local / hadoop

Configuração Variáveis De Ambiente Hadoop 

export HADOOP_INSTALL=/usr/local/hadoop

Depois defina a pasta conf 

export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop
 6
Author: Saurabh, 2017-03-16 13:04:45

De /etc/spark/conf/spark-env.sh:

export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/etc/hadoop/conf}
 1
Author: Atul Soman, 2016-10-19 20:54:10