Como construir faísca a partir das fontes a partir da Página de faísca Download?
tentei instalar e construir faíscas 2.0.0 em Ubuntu VM com Ubuntu 16.04 como se segue:
-
Instalar Java
sudo apt-add-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-installer
-
Instale O Scala
vá para a sua página de Downloads no seu site: scala-lang.org/download/all.html
usei o Scala 2.11.8.
sudo mkdir /usr/local/src/scala sudo tar -xvf scala-2.11.8.tgz -C /usr/local/src/scala/
modificar o ficheiro
.bashrc
e incluir a localização do scala:export SCALA_HOME=/usr/local/src/scala/scala-2.11.8 export PATH=$SCALA_HOME/bin:$PATH
depois escreva:
. .bashrc
-
instalar git
sudo apt-get install git
-
Baixar e construir faísca
vá para: http://spark.apache.org/downloads.html
telecarregamento Spark 2.0.0 (compilação a partir da fonte - para modo autónomo).
tar -xvf spark-2.0.0.tgz cd into the Spark folder (that has been extracted).
agora escreva:
Depois da instalação, recebi a mensagem:./build/sbt assembly
[sucesso] tempo Total: 1940 s, concluído...
seguido de data e hora...
-
Corre Faísca shell
bin/spark-shell
Imagem do erro:
3 answers
build/sbt package
Isto irá construir os ficheiros do JAR que faltam para mim usando o Scala 2.11... meio estranho, mas é assim que funciona (estou assumindo olhando para os registros).
Uma vez spark constrói novamente, tipo: bin / spark-shell (enquanto estiver na pasta spark) e você terá acesso à spark shell.Tipo Pacote sbt em pasta spark não está na pasta build.
Se o teu objectivo érealmente construir o teu pacote de faíscas personalizado a partir das fontes que baixaste de http://spark.apache.org/downloads.html em vez disso, deve fazer o seguinte:
./build/mvn -Phadoop-2.7,yarn,mesos,hive,hive-thriftserver -DskipTests clean install
É melhor ler o documento oficial Building Spark .
NB você não tem que instalar pacotes Scala e git para construir Spark para que você pudesse ter saltado "2. Instale Scala " e " 3. Instalar os passos git".