spark-user mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Ricardo Goncalves da Silva <ricardog.si...@telefonica.com>
Subject parsedData option
Date Mon, 18 May 2015 14:32:18 GMT
Hi Team,

My dataset has the following format:
CELLPHONE,KL_1,KL_2,KL_3,KL_4,KL_5
1120100114,-5.3244062521117e-003,-4.10825709805041e-003,-1.7816995027779e-002,-4.21462029980323e-003,-1.62005550399999e-002

i.e., a reader in the first column and the data separated by comas. To load this data I’m
using:

val data = sc.textFile("/data/disk1/cluster/fraude5.csv")

But now the problem: wath I need to do to choose KL_4 for clustering in the following line?

val parsedData = data.map(s => Vectors.dense(s.split(',').map(_.toDouble))).cache()

Thanks

Ricardo.


________________________________

Este mensaje y sus adjuntos se dirigen exclusivamente a su destinatario, puede contener información
privilegiada o confidencial y es para uso exclusivo de la persona o entidad de destino. Si
no es usted. el destinatario indicado, queda notificado de que la lectura, utilización, divulgación
y/o copia sin autorización puede estar prohibida en virtud de la legislación vigente. Si
ha recibido este mensaje por error, le rogamos que nos lo comunique inmediatamente por esta
misma vía y proceda a su destrucción.

The information contained in this transmission is privileged and confidential information
intended only for the use of the individual or entity named above. If the reader of this message
is not the intended recipient, you are hereby notified that any dissemination, distribution
or copying of this communication is strictly prohibited. If you have received this transmission
in error, do not read it. Please immediately reply to the sender that you have received this
communication in error and then delete it.

Esta mensagem e seus anexos se dirigem exclusivamente ao seu destinatário, pode conter informação
privilegiada ou confidencial e é para uso exclusivo da pessoa ou entidade de destino. Se
não é vossa senhoria o destinatário indicado, fica notificado de que a leitura, utilização,
divulgação e/ou cópia sem autorização pode estar proibida em virtude da legislação
vigente. Se recebeu esta mensagem por erro, rogamos-lhe que nos o comunique imediatamente
por esta mesma via e proceda a sua destruição
Mime
View raw message