sqoop-user mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Szabolcs Vasas <va...@cloudera.com>
Subject Re: Atlas integration problem
Date Wed, 28 Nov 2018 12:26:26 GMT
The upstream trunk version currently uses Hadoop 2.8.0 but the latest
release (1.4.7) was built with Hadoop 2.6.0, so if you run the latest
release then try to install Hadoop 2.6.0.

Regards,
Szabolcs

On Tue, Nov 27, 2018 at 9:59 PM Emiliano Carlesi <
emiliano.carlesi@itattitude.com> wrote:

> Hi Szabolcs,
>
> Thanks for your reply. In your opinion which version is better to install
> to integrate it with Sqoop?
>
>
>
> Thanks 😊
>
>
>
> Ciao
>
>
>
> Emiliano Carlesi
>
>
>
> Email: emiliano.carlesi@itattitude.com
>
> Skype for Business: emiliano.carlesi@itattitude.com
>
> Skype: emiliano.carlesi
>
> Mobile: +39 3487837153
>
> Phone: +39 0650939115
>
> [image: logo-firma]
>
> *Le informazioni contenute nella presente comunicazione e i relativi
> allegati contenuti in questo messaggio sono strettamente riservate ed
> esclusivamente indirizzate al destinatario indicato. Vogliate tener
> presente che qualsiasi uso, riproduzione o divulgazione di questo messaggio
> è vietata. Nel caso in cui aveste ricevuto questa mail per errore, vogliate
> cortesemente avvertire il mittente e distruggere il presente messaggio. La
> diffusione, distribuzione e/o copiatura del documento trasmesso da parte di
> qualsiasi soggetto diverso dal destinatario è proibita, sia ai sensi
> dell’art. 616 c.p. , che ai sensi del Regolamento UE 679/2016.*
>
>
>
>
>
> *From:* Szabolcs Vasas <vasas@apache.org>
> *Sent:* Tuesday, November 27, 2018 11:37 AM
> *To:* user@sqoop.apache.org
> *Cc:* Emiliano Carlesi <emiliano.carlesi@itattitude.com>
> *Subject:* Re: Atlas integration problem
>
>
>
> Hi Emiliano,
>
>
>
> Which Sqoop version do you use?
>
> The exception suggests that you use Hadoop 3.1.1 but it is not supported
> yet in any of our upstream releases.
>
>
>
> Regards,
>
> Szabolcs
>
>
>
> On Sun, Nov 25, 2018 at 10:09 PM Emiliano Carlesi <
> emiliano.carlesi@itattitude.com> wrote:
>
> Hello,
>
> I’m trying to integrate Atlas with Sqoop, but I get this error:
>
>
>
> 2018-11-25 20:44:23,263 INFO hive.HiveImport: Loading uploaded data into
> Hive
>
> 2018-11-25 20:44:23,321 ERROR tool.ImportTool: Encountered IOException
> running import job: java.io.IOException: Exception thrown in Hive
>
>         at
> org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:365)
>
>         at
> org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:245)
>
>         at
> org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:514)
>
>         at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:605)
>
>         at org.apache.sqoop.Sqoop.run(Sqoop.java:148)
>
>         at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
>
>         at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:184)
>
>         at org.apache.sqoop.Sqoop.runTool(Sqoop.java:226)
>
>         at org.apache.sqoop.Sqoop.runTool(Sqoop.java:235)
>
>         at org.apache.sqoop.Sqoop.main(Sqoop.java:244)
>
> Caused by: java.lang.reflect.InvocationTargetException
>
>         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
>
>         at
> sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
>
>         at
> sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
>
>         at java.lang.reflect.Method.invoke(Method.java:498)
>
>         at
> org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:338)
>
>         ... 9 more
>
> Caused by: java.lang.ExceptionInInitializerError
>
>         at
> org.apache.hadoop.hive.common.LogUtils.initHiveLog4j(LogUtils.java:58)
>
>         at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:699)
>
>         at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:683)
>
>         ... 14 more
>
> Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major
> version number: 3.1.1
>
>         at
> org.apache.hadoop.hive.shims.ShimLoader.getMajorVersion(ShimLoader.java:174)
>
>         at
> org.apache.hadoop.hive.shims.ShimLoader.loadShims(ShimLoader.java:139)
>
>         at
> org.apache.hadoop.hive.shims.ShimLoader.getHadoopShims(ShimLoader.java:100)
>
>         at
> org.apache.hadoop.hive.conf.HiveConf$ConfVars.<clinit>(HiveConf.java:368)
>
>         ... 17 more
>
>
>
> 2018-11-25 20:44:23,323 INFO kafka.KafkaNotification: ==>
> KafkaNotification.createProducer()
>
> 2018-11-25 20:44:23,332 INFO hook.AtlasHook: ==> Shutdown of Atlas Hook
>
> 2018-11-25 20:44:23,352 ERROR hook.AtlasHook: Failed to send notification
> - attempt #1; error=Missing required configuration "bootstrap.servers"
> which has no default value.
>
> 2018-11-25 20:44:24,354 INFO kafka.KafkaNotification: ==>
> KafkaNotification.createProducer()
>
> 2018-11-25 20:44:24,354 ERROR hook.AtlasHook: Failed to send notification
> - attempt #2; error=Missing required configuration "bootstrap.servers"
> which has no default value.
>
> 2018-11-25 20:44:25,356 INFO kafka.KafkaNotification: ==>
> KafkaNotification.createProducer()
>
> 2018-11-25 20:44:25,356 ERROR hook.AtlasHook: Failed to send notification
> - attempt #3; error=Missing required configuration "bootstrap.servers"
> which has no default value.
>
> 2018-11-25 20:44:25,357 INFO hook.AtlasHook: <== Shutdown of Atlas Hook
>
>
>
> Someone know how to solve it?
>
>
>
> Thanks
>
>
>
> Ciao
>
>
>
> Emiliano Carlesi
>
>
>
> Email: emiliano.carlesi@itattitude.com
>
> Skype for Business: emiliano.carlesi@itattitude.com
>
> Skype: emiliano.carlesi
>
> Mobile: +39 3487837153
>
> Phone: +39 0650939115
>
> [image: logo-firma]
>
> *Le informazioni contenute nella presente comunicazione e i relativi
> allegati contenuti in questo messaggio sono strettamente riservate ed
> esclusivamente indirizzate al destinatario indicato. Vogliate tener
> presente che qualsiasi uso, riproduzione o divulgazione di questo messaggio
> è vietata. Nel caso in cui aveste ricevuto questa mail per errore, vogliate
> cortesemente avvertire il mittente e distruggere il presente messaggio. La
> diffusione, distribuzione e/o copiatura del documento trasmesso da parte di
> qualsiasi soggetto diverso dal destinatario è proibita, sia ai sensi
> dell’art. 616 c.p. , che ai sensi del Regolamento UE 679/2016.*
>
>
>
>
>
>

-- 
Szabolcs Vasas
Software Engineer
<http://www.cloudera.com>

Mime
View raw message