apache-spark

Estou a executar uma aplicação de faísca local de 4 nós. quando estou a correr a minha aplicação, ela mostra o meu moto ... SKTOP-FF4U.....:0 Listening PS.: Knowning that my code is running succesfully. Qual pode ser a razão?

Dei uma vista de olhos, mas não encontrei uma resposta satisfatória para isto. Talvez me esteja a escapar alguma coisa. ... renciar as compensações (não ao contrário de uma conexão DB) nós mesmos? qualquer orientação/ajuda é muito apreciada.

Aqui está o meu código: val bg = imageBundleRDD.first() //bg:[Text, BundleWritable] val res= imageBundleRDD.map( ... operty("spark.kryo.registrator", "hequn.spark.reconstruction.MyRegistrator") val sc = new SparkContext(... Obrigado!!!

quero descobrir como sc.textfile funciona em detalhe. Encontrei o código fonte do ficheiro de texto em SparkContext.scal ... o ficheiro de texto usa caracteres especiais para corresponder a vários ficheiros. Onde posso encontrar o código fonte?

Podem ajudar-me com a pergunta seguinte?.. Eu tenho um Talend BigData lote trabalho (faísca) como abaixo TOracleInpu ... quaisquer mudanças através de uma integração contínua Talend. JIRA URL:- https://jira.talendforge.org/browse/TUP-16698

O papel de pesquisa de faísca (Spark research paper) ([6]} prescreveu um novo modelo de programação dist ... ted Datasets com Directed Acyclic Graph parece faltar neste papel. Deveria aprender melhor investigando o código fonte?

val df = sc.parallelize(Seq((1,"Emailab"), (2,"Phoneab"), (3, "Faxab"),(4,"Mail"),(5,"Other"),(6,"MSL12" ... a que {[[2]} -- isto é para selecionar os registros, mas como excluir os registros. ? Versão: Spark 1.6.2 Scala: 2, 10

Estou a rodar a spark 2, a colmeia, o hadoop na máquina local, e quero usar a spark sql para ler os dado ... , porque é que o sparkSession/sparkContext inicial não obteve a configuração correcta? Como posso consertá-lo? Obrigado!

#!/bin/sh spark-shell import org.apache.spark.sql.SparkSession val url="jdbc:mysql://localhost:3306/slow ... er estes comandos toda vez que eu pensei em fazer um script mas quando eu executar o script acima ele lança este erro.

quando leio o código python de outras pessoas, como, {[[0]}, parece que o codificador já sabe quais os parâmetros a usa ... a procurar esses parâmetros disponíveis? Procuro os documentos da apche e mostra o parâmetro indocumentado. Obrigado.

Eu gostaria de executar um código scala em Zeppelin de Spark cluster. por exemplo: Este é o código pa ... ria de importar em Zeppelin o arquivo HelloWorldScala e executar main, mas eu vejo o erro: código de erro Zeppelin