Desempenho da faísca para Scala vs Python
Prefiro Python a Scala. Mas, como Spark é nativamente escrito em Scala, eu estava esperando meu código para correr mais ... boa notícia para mim é que me deu uma boa motivação para fica com o Python. A má notícia é que não percebi bem porquê?
Como imprimir o conteúdo do RDD?
Estou a tentar imprimir o conteúdo de uma colecção na consola de faíscas.
tenho um tipo:
linesWithSessionId: org.apa ... [ 4] no mapa a :19
Como posso escrever o RDD para consolar ou gravá-lo em disco para que eu possa ver o seu conteúdo?
O que substitui variáveis de classe em scala?
em Java, às vezes, uso variáveis de classe para atribuir um ID único a cada instância nova. Eu faço algo como
public ... public final long id;
public Foo() {
id = nextId;
nextId++;
}
[...]
}
Como posso fazer isto em Scala?
Como definir uma String numa opção [String]?
Quando estou a tentar afectar um valor do tipo String num campo da opção do tipo [String] obtenho o seguinte erro:
ty ... h; found : String required: Option[String]
Como posso afectar o valor myValue:String no campo myField:Option[String]?
Como escrever testes de unidade em Spark 2.0+?
Tenho tentado encontrar uma forma razoável de testar a estrutura de testes JUnit. Embora pareça haver bons exemplos para ... o que está a ser carregado exista ou não; numa SparkSession devidamente configurada, será lançado um erro mais sensato .
Corrente de Akka Kafka vs correntes de Kafka
estou actualmente a trabalhar com Akka Stream Kafka para interagir com kafka e fiquei a pensar quais eram as diferenças ... os de kafka parecem estar em falta.
Qual seria a vantagem de usar correntes de kafka sobre as correntes de akka kafka?
O que é RDD em faísca
A definição diz:
A RDD é uma colecção distribuída imutável de objectos
Não percebo bem o que significa. É como o ... or
Estou realmente confuso por entender o RDD em geral e em relação à faísca e à hadoop.
Alguém me ajude, por favor.
O que significa "local [*]" em faísca?
Encontrei um código para começar a disparar localmente com:
val conf = new SparkConf().setAppName("test").setMaster("local[*]")
val ctx = new SparkContext(conf)
O que significa o [*]?
Como instalar o 'plugin' Scala manualmente?
Http://www.scala-ide.org/
dá
http://download.scala-ide.org/update-current-35
Existem funcionalidades e directórios de ... ionalidades do eclipse e / ou directório de plugins ?
A propósito, qual é a diferença entre funcionalidades e plugins ?
Como salvar um DataFrame spark como csv em disco?
por exemplo, o resultado disto:
df.filter("project = 'en'").select("title","count").groupBy("title").sum()
devolveria uma matriz.
Como gravar um ficheiro csv em disco ?
Uma alternativa de primavera para Scala ou Primavera?
Mudei-me recentemente do mundo de Java para o Scala e migrei/reconstruí muitos dos nossos projectos para o Scala. Gostar ... -data, dependency injection, etc.). Ou ainda Primavera é a melhor opção para que eu deva parar de procurar alternativas?
Como construir faísca a partir das fontes a partir da Página de faísca Download?
tentei instalar e construir faíscas 2.0.0 em Ubuntu VM com Ubuntu 16.04 como se segue:
Instalar Java
sudo apt-add ... xplícitas passo-a-passo sobre como ir sobre resolver isto ?!? Está a dar comigo em doido... (T. T)
Imagem do erro:
Conteúdo de saída do DStream em Scala Apache Spark
abaixo do Código Spark não parece efectuar qualquer operação num ficheiro example.txt
val conf = new org.apache.spark. ... ?
actualização 2:
Talvez isto esteja relacionado com o facto de eu estar a correr este código no ambiente do Windows?
como resolver uma equação em scala usando atores?
Quero saber como um actor devolve um valor ao remetente e como guardá-lo numa variável.
por exemplo, considere que tem ... + a2+b2)
}
}
Perdoe-me se o acima não é possível; acho que minha compreensão básica dos atores pode estar errada.
Como obter o timestamp atual em Scala como uma string sem espaços?
quero obter, por exemplo, uma sequência do Tempo actual: "20180122_101043". Como posso fazer isto?
Posso criar um, mas não sei o que fazer com ele depois.
Como executar um projeto sbt no docker usando sbt-docker ou escrevendo um arquivo docker manualmente?
Tenho tentado aprender a gerir um projecto sbt em docker. Também quero usar spray.
Estou a seguir o exemplo fornecido pe ... r e porquê ?
Eu quero usar sbt com spray / Play framework e executá-lo em muitos recipientes.
Estou a usar Lubuntu OS.
Como posso usar a base de testes de faísca com o Maven?
Gostava de descobrir como testar o mesmo código de ignição. Pesquisei no Google e encontrei a base de faísca. Bem, agora ... s parece que não foi executada. Porquê? Como eu disse, é apenas o mínimo exmaple e não depende do meu principal codigo.
Como verificar se a ElasticSearch está a correr correctamente
Sou novo na pesquisa elastica e estou a enfrentar problemas ao ligar-me à pesquisa elastica. Por favor, Encontre os deta ... tica 2.0 e estava usando bibliotecas e plugins da versão 1.7. Baixei o meu elástico para a versão 1.7 e tudo funcionou!
Filtro de transferência de dados para faísca
val df = sc.parallelize(Seq((1,"Emailab"), (2,"Phoneab"), (3, "Faxab"),(4,"Mail"),(5,"Other"),(6,"MSL12" ... a que {[[2]} -- isto é para selecionar os registros, mas como excluir os registros. ?
Versão: Spark 1.6.2
Scala: 2, 10
scala vs java, performance e memória? [fechado]
Estou ansioso por investigar o Scala, e tenho uma pergunta básica para a qual não consigo encontrar uma resposta.:
em geral, existe uma diferença no desempenho e uso da memória entre Scala e Java?
- 1
- 2