Concatenate columns in Apache Spark DataFrame
Como combinamos duas colunas num DataFrame Apache?
Existe alguma função em Spark SQL que possamos usar?
Como escrever testes de unidade em Spark 2.0+?
Tenho tentado encontrar uma forma razoável de testar a estrutura de testes JUnit. Embora pareça haver bons exemplos para ... o que está a ser carregado exista ou não; numa SparkSession devidamente configurada, será lançado um erro mais sensato .
Como salvar um DataFrame spark como csv em disco?
por exemplo, o resultado disto:
df.filter("project = 'en'").select("title","count").groupBy("title").sum()
devolveria uma matriz.
Como gravar um ficheiro csv em disco ?
SQL on Spark: Como posso obter todos os valores de distinção?
então, assume que tenho a seguinte tabela:
Name | Color
------------------------------
John | Blue
Greg | Red
John | ... ----------------------------
John | 2 | Blue, Yellow
Greg | 2 | Red, Blue
alguma ideia de como o fazer?
Filtro de transferência de dados para faísca
val df = sc.parallelize(Seq((1,"Emailab"), (2,"Phoneab"), (3, "Faxab"),(4,"Mail"),(5,"Other"),(6,"MSL12" ... a que {[[2]} -- isto é para selecionar os registros, mas como excluir os registros. ?
Versão: Spark 1.6.2
Scala: 2, 10