Como configurar o Hive para usar o Spark?

Tenho um problema em usar a colmeia com faísca. Instalei um único nó HDP 2.1 (Hadoop 2.4) via Ambari no meu CentOS 6.5. Estou a tentar controlar a colmeia com o Spark, por isso usei estas instruções:

Https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started

Já descarreguei a versão "Prebuilt for Hadoop 2.4" da Spark, que encontrei no site oficial da Apache Spark. Então comecei o mestre com: 
./spark-class org.apache.spark.deploy.master.Master
Então o trabalhador com: 

./spark-class org.apache.spark.deploy.worker.Worker spark://hadoop.hortonworks:7077
E depois comecei a colmeia com este prompt. 
hive –-auxpath /SharedFiles/spark-1.0.1-bin-hadoop2.4/lib/spark-assembly-1.1.0-hadoop2.4.0.jar
Então, de acordo com as instruções, tive de mudar o motor de execução da colmeia para acender com este alerta. 
set hive.execution.engine=spark;,

e o resultado é: 

Query returned non-zero code: 1, cause: 'SET hive.execution.engine=spark' FAILED in validation : Invalid value.. expects one of [mr, tez].
Então, se eu tentar lançar uma simples consulta de colmeia, posso ver no meu hadoop.hortonwork: 8088 que o trabalho lançado é um trabalho de MapReduce.

agora a minha pergunta: Como posso mudar o motor de execução da colmeia para que a colmeia use faísca em vez de MapReduce? Há outras formas de o mudar? (Eu já tentei mudá-lo via ambari e no hive-site.xml)

Author: Jacek Laskowski, 2014-09-24
Source

4 answers

Mudar as propriedades da configuração da colmeia assim....

</property> 
  <name>hive.execution.engine</name>
  <value>spark</value>
  <description>
    Chooses execution engine.
  </description>
</property>
 8
Author: Sree Eedupuganti, 2015-03-11 13:43:06 
set hive.execution.engine=spark;

Tente este comando ele vai correr bem.

 4
Author: Sree Eedupuganti, 2015-11-21 15:18:47
Preparar Colmeia.execucao.motor = faísca; este é introduzido na colmeia 1.1+ em frente. Acho que a tua versão da colmeia é mais antiga que a colmeia 1.1.

enter image description here Recurso: https://cwiki.apache.org/confluence/display/Hive/Hive + on + Spark % 3A+começar +

 0
Author: Venu A Positive, 2016-05-20 10:34:18

Na colmeia > conf > local da colmeia.xml define o valor da colmeia.execucao.motor para faísca.

  </property> 
    <name>hive.execution.engine</name>
    <value>spark</value>
  </property>
 0
Author: Satish Karuturi, 2017-05-15 05:14:52