Como aceder à interface web Spark?
Estou a executar uma aplicação de faísca local de 4 nós. quando estou a correr a minha aplicação, ela mostra o meu moto ... SKTOP-FF4U.....:0 Listening
PS.: Knowning that my code is running succesfully.
Qual pode ser a razão?
Como enviar manualmente o offset no streaming directo do Kafka Spark?
Dei uma vista de olhos, mas não encontrei uma resposta satisfatória para isto. Talvez me esteja a escapar alguma coisa. ... renciar as compensações (não ao contrário de uma conexão DB) nós mesmos?
qualquer orientação/ajuda é muito apreciada.
aparch spark, Notserializable exception: org. apache. hadoop. io. Text
Aqui está o meu código:
val bg = imageBundleRDD.first() //bg:[Text, BundleWritable]
val res= imageBundleRDD.map( ... operty("spark.kryo.registrator", "hequn.spark.reconstruction.MyRegistrator")
val sc = new SparkContext(...
Obrigado!!!
Como funciona o spark sc.o ficheiro de texto funciona em detalhe?
quero descobrir como sc.textfile funciona em detalhe.
Encontrei o código fonte do ficheiro de texto em SparkContext.scal ... o ficheiro de texto usa caracteres especiais para corresponder a vários ficheiros.
Onde posso encontrar o código fonte?
Talend tarefa de faísca em lote de dados grandes com o contexto (https://jira.talendforge.org/browse/TUP-16698)
Podem ajudar-me com a pergunta seguinte?..
Eu tenho um Talend BigData lote trabalho (faísca) como abaixo
TOracleInpu ... quaisquer mudanças através de uma integração contínua Talend.
JIRA URL:- https://jira.talendforge.org/browse/TUP-16698
Como é que o DAG trabalha debaixo das capas na RDD?
O papel de pesquisa de faísca (Spark research paper) ([6]} prescreveu um novo modelo de programação dist ... ted Datasets com Directed Acyclic Graph parece faltar neste papel.
Deveria aprender melhor investigando o código fonte?
Filtro de transferência de dados para faísca
val df = sc.parallelize(Seq((1,"Emailab"), (2,"Phoneab"), (3, "Faxab"),(4,"Mail"),(5,"Other"),(6,"MSL12" ... a que {[[2]} -- isto é para selecionar os registros, mas como excluir os registros. ?
Versão: Spark 1.6.2
Scala: 2, 10
o sparkSession/sparkContext não consegue obter a configuração do hadoop
Estou a rodar a spark 2, a colmeia, o hadoop na máquina local, e quero usar a spark sql para ler os dado ... , porque é que o sparkSession/sparkContext inicial não obteve a configuração correcta? Como posso consertá-lo? Obrigado!
Executar o comando spark-shell no programa shell
#!/bin/sh
spark-shell
import org.apache.spark.sql.SparkSession
val url="jdbc:mysql://localhost:3306/slow ... er estes comandos toda vez que eu pensei em fazer um script mas quando eu executar o script acima ele lança este erro.
Opções disponíveis na faísca.ler.Opcao()
quando leio o código python de outras pessoas, como, {[[0]}, parece que o codificador já sabe quais os parâmetros a usa ... a procurar esses parâmetros disponíveis? Procuro os documentos da apche e mostra o parâmetro indocumentado.
Obrigado.
Executar o código scala do spark em Zeppelin
Eu gostaria de executar um código scala em Zeppelin de Spark cluster.
por exemplo:
Este é o código pa ... ria de importar em Zeppelin o arquivo HelloWorldScala e executar main, mas eu vejo o erro:
código de erro Zeppelin
- 1
- 2