spark-user mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Christophe Préaud <christophe.pre...@kelkoo.com>
Subject Re: broadcast not working in yarn-cluster mode
Date Tue, 24 Jun 2014 12:11:41 GMT
Hi again,

I've finally solved the problem below, it was due to an old 1.0.0-rc3 spark jar lying around
in my .m2 directory which was used when I compiled  my spark applications (with maven).

Christophe.

On 20/06/2014 18:13, Christophe Préaud wrote:
> Hi,
>
> Since I migrated to spark 1.0.0, a couple of applications that used to work in 0.9.1
now fail when broadcasting a variable.
> Those applications are run on a YARN cluster in yarn-cluster mode (and used to run in
yarn-standalone mode in 0.9.1)
>
> Here is an extract of the error log:
>
> Exception in thread "Thread-3" java.lang.reflect.InvocationTargetException
>         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
>         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
>         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
>         at java.lang.reflect.Method.invoke(Method.java:606)
>         at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:186)
> Caused by: java.lang.NoSuchMethodError: org.apache.spark.SparkContext.broadcast(Ljava/lang/Object;)Lorg/apache/spark/broadcast/Broadcast;
>         at kelkoo.MerchantOffersPerformance$.main(MerchantOffersPerformance.scala:289)
>         at kelkoo.MerchantOffersPerformance.main(MerchantOffersPerformance.scala)
>
> Has anyone any idea how to solve this problem?
>
> Thanks,
> Christophe.
>
> Kelkoo SAS
> Société par Actions Simplifiée
> Au capital de € 4.168.964,30
> Siège social : 8, rue du Sentier 75002 Paris
> 425 093 069 RCS Paris
>
> Ce message et les pièces jointes sont confidentiels et établis à l'attention exclusive
de leurs destinataires. Si vous n'êtes pas le destinataire de ce message, merci de le détruire
et d'en avertir l'expéditeur.


Kelkoo SAS
Société par Actions Simplifiée
Au capital de € 4.168.964,30
Siège social : 8, rue du Sentier 75002 Paris
425 093 069 RCS Paris

Ce message et les pièces jointes sont confidentiels et établis à l'attention exclusive
de leurs destinataires. Si vous n'êtes pas le destinataire de ce message, merci de le détruire
et d'en avertir l'expéditeur.

Mime
View raw message