spark-dev mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Eduardo Costa Alfaia <e.costaalf...@unibs.it>
Subject Re: Print in JavaNetworkWordCount
Date Tue, 28 Jan 2014 14:21:01 GMT
Hi Tathagata,

This code that you have sent me is it a scala code?

yourDStream.foreachRDD(rdd => {

   // Get and print first n elements
   val firstN = rdd.take(n)
   println("First N elements = " + firstN)

  // Count the number of elements in each batch
  println("RDD has " + rdd.count() + " elements")

})

Thanks



Il giorno 20 gennaio 2014 19:11, Tathagata Das
<tathagata.das1565@gmail.com>ha scritto:

> Hi Eduardo,
>
> You can do arbitrary stuff with the data in a DStream using the operation
> foreachRDD.
>
> yourDStream.foreachRDD(rdd => {
>
>    // Get and print first n elements
>    val firstN = rdd.take(n)
>    println("First N elements = " + firstN)
>
>   // Count the number of elements in each batch
>   println("RDD has " + rdd.count() + " elements")
>
> })
>
>
> Alternatively, just for printing the counts, you can also do
>
> yourDStream.count.print()
>
> Hope this helps!
>
> TD
>
>
>
> 2014/1/20 Eduardo Costa Alfaia <e.costaalfaia@studenti.unibs.it>
>
> > Hi guys,
> >
> > Somebody help me, Where do I get change the print() function to print
> more
> > than 10 lines in screen? Is there a manner to print the count total of
> all
> > words in a batch?
> >
> > Best Regards
> > --
> > ---
> > INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
> >
> > I dati utilizzati per l'invio del presente messaggio sono trattati
> > dall'Università degli Studi di Brescia esclusivamente per finalità
> > istituzionali. Informazioni più dettagliate anche in ordine ai diritti
> > dell'interessato sono riposte nell'informativa generale e nelle notizie
> > pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
> >
> > Il contenuto di questo messaggio è rivolto unicamente alle persona cui
> > è indirizzato e può contenere informazioni la cui riservatezza è
> > tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e
> l'uso
> > in mancanza di autorizzazione del destinatario. Qualora il messaggio
> > fosse pervenuto per errore, preghiamo di eliminarlo.
> >
>

-- 
---
INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI

I dati utilizzati per l'invio del presente messaggio sono trattati 
dall'Università degli Studi di Brescia esclusivamente per finalità 
istituzionali. Informazioni più dettagliate anche in ordine ai diritti 
dell'interessato sono riposte nell'informativa generale e nelle notizie 
pubblicate sul sito web dell'Ateneo nella sezione "Privacy".

Il contenuto di questo messaggio è rivolto unicamente alle persona cui 
è indirizzato e può contenere informazioni la cui riservatezza è 
tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e l'uso 
in mancanza di autorizzazione del destinatario. Qualora il messaggio 
fosse pervenuto per errore, preghiamo di eliminarlo.

Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message