Como construir faísca a partir das fontes a partir da Página de faísca Download?

tentei instalar e construir faíscas 2.0.0 em Ubuntu VM com Ubuntu 16.04 como se segue:

  1. Instalar Java 

    sudo apt-add-repository ppa:webupd8team/java
sudo apt-get update       
sudo apt-get install oracle-java8-installer

  2. Instale O Scala

    vá para a sua página de Downloads no seu site: scala-lang.org/download/all.html

    usei o Scala 2.11.8.

    sudo mkdir /usr/local/src/scala
sudo tar -xvf scala-2.11.8.tgz -C /usr/local/src/scala/

    modificar o ficheiro .bashrc e incluir a localização do scala: 

    export SCALA_HOME=/usr/local/src/scala/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH

    depois escreva: 

    . .bashrc

  3. instalar git 

    sudo apt-get install git

  4. Baixar e construir faísca

    vá para: http://spark.apache.org/downloads.html

    telecarregamento Spark 2.0.0 (compilação a partir da fonte - para modo autónomo).

    tar -xvf spark-2.0.0.tgz
cd into the Spark folder (that has been extracted).

    agora escreva: 

    ./build/sbt assembly
    Depois da instalação, recebi a mensagem:

    [sucesso] tempo Total: 1940 s, concluído...

    seguido de data e hora...

  5. Corre Faísca shell 

    bin/spark-shell
É quando o inferno se solta e eu começo a ter o erro. Vou à pasta de montagem procurar uma pasta chamada target. Mas essa pasta não existe. As únicas coisas visíveis na montagem são: pom.xml, README e src.

Eu pesquisei online por um bom tempo e não consegui encontrar uma única solução concreta que ajudasse a resolver o erro. Alguém pode fornecer instruções explícitas passo-a-passo sobre como ir sobre resolver isto ?!? Está a dar comigo em doido... (T. T)

Imagem do erro:

enter image description here

Author: Jacek Laskowski, 2016-09-02
Source

3 answers

Por alguma razão, o Scala 2.11.8 não está a funcionar bem enquanto está a construir, mas se mudar para o Scala 2.10.6, então ele constrói correctamente. Acho que a razão pela qual eu precisaria Scala em primeiro lugar é para ter acesso ao sbt para ser capaz de construir faísca. Uma vez construído, eu preciso dirigir-me para a pasta spark e digitar: 
build/sbt package

Isto irá construir os ficheiros do JAR que faltam para mim usando o Scala 2.11... meio estranho, mas é assim que funciona (estou assumindo olhando para os registros).

Uma vez spark constrói novamente, tipo: bin / spark-shell (enquanto estiver na pasta spark) e você terá acesso à spark shell.
 4
Author: Michael Westen, 2016-09-08 06:29:55

Tipo Pacote sbt em pasta spark não está na pasta build.

 2
Author: Jay, 2016-12-24 19:40:10

Se o teu objectivo érealmente construir o teu pacote de faíscas personalizado a partir das fontes que baixaste de http://spark.apache.org/downloads.html em vez disso, deve fazer o seguinte: 

./build/mvn -Phadoop-2.7,yarn,mesos,hive,hive-thriftserver -DskipTests clean install

É melhor ler o documento oficial Building Spark .

NB você não tem que instalar pacotes Scala e git para construir Spark para que você pudesse ter saltado "2. Instale Scala " e " 3. Instalar os passos git".

 0
Author: Jacek Laskowski, 2016-12-24 20:02:23