Como imprimir o conteúdo do RDD?
tenho um tipo:
linesWithSessionId: org.apache.spark.rdd.RDD[String] = FilteredRDD[3]
e eu uso o comando:
scala> linesWithSessionId.map(line => println(line))
mas isto está impresso:
[3]}Res1: org.Apache.faisca.rdd.RDD [unidade] = MappedRDD[ 4] no mapa a :19
Como posso escrever o RDD para consolar ou gravá-lo em disco para que eu possa ver o seu conteúdo?
8 answers
Se quiser ver o conteúdo de um RDD, uma forma é usar collect():
myRDD.collect().foreach(println)
take() apenas alguns para imprimir:
myRDD.take(n).foreach(println)
A função map é uma transformação, o que significa que a faísca não irá realmente avaliar o seu RDD até que execute uma acção nele.
Para imprimir, pode usar foreach (que é uma acção):
linesWithSessionId.foreach(println)
Para o gravar no disco, poderá usar uma das funções saveAs... (acções fixas) da API RDD.
Se estiver a correr isto num conjunto, então println não irá imprimir de volta para o seu contexto. Você precisa trazer os dados RDD para sua sessão. Para fazer isso, você pode forçá-lo para a matriz local e, em seguida, imprimi-lo:
linesWithSessionId.toArray().foreach(line => println(line))
Podes converter o teu RDD para um DataFrame Depois show() isso.
// For implicit conversion from RDD to DataFrame
import spark.implicits._
fruits = sc.parallelize([("apple", 1), ("banana", 2), ("orange", 17)])
// convert to DF then show it
fruits.toDF().show()
+------+---+
| _1| _2|
+------+---+
| apple| 1|
|banana| 2|
|orange| 17|
+------+---+
myRDD.foreach(println) e myRDD.collect().foreach(println) (não só 'recolher', mas também outras acções). Uma das diferenças que vi foi quando fiz myRDD.foreach(println), a saída será numa ordem aleatória. Para ex: se meu rdd está vindo de um arquivo de texto onde cada linha tem um número, a saída terá uma ordem diferente. Mas quando eu fiz myRDD.collect().foreach(println), a ordem permanece como o arquivo de texto.
Em python
linesWithSessionIdCollect = linesWithSessionId.collect()
linesWithSessionIdCollect
Isto irá imprimir todo o conteúdo do RDD
Você também pode gravar como um ficheiro: rdd.saveAsTextFile("alicia.txt")
Em vez de digitar de cada vez, você pode;
[1] Criar um método genérico de impressão dentro da Spark Shell.
def p(rdd: org.apache.spark.rdd.RDD[_]) = rdd.foreach(println)
[2] ou ainda melhor, usando implicits, você pode adicionar a função à classe RDD para imprimir o seu conteúdo.
implicit class Printer(rdd: org.apache.spark.rdd.RDD[_]) {
def print = rdd.foreach(println)
}
Uso de exemplo:
val rdd = sc.parallelize(List(1,2,3,4)).map(_*2)
p(rdd) // 1
rdd.print // 2
Resultado:
2
6
4
8
PS. Estes só fazem sentido se você estiver trabalhando no modo local e com uma pequena quantidade de conjunto de dados. Caso contrário, você ou não será capaz de ver os resultados no cliente ou ficar sem memória por causa do grande resultado do conjunto de dados.