spark-user mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "GUINKO Ferdinand" <tonguimferdin...@guinko.net>
Subject Re: Ubuntu 18.04: Docker: start-master.sh: command not found
Date Thu, 01 Apr 2021 06:31:18 GMT
'start-master.sh': No such file or directory. It look like the settings I have done on the
container were gone and were not saved when I exited.
Don't the container save its settings when user exit? Thank you.
-- 
«Ce dont le monde a le plus besoin, c'est d'hommes, non pas des hommes qu'on achète et qui
se vendent, mais d'hommes profondément loyaux et intègres, des hommes qui ne craignent pas
d'appeler le péché par son nom, des hommes dont la conscience soit aussi fidèle à son
devoir que la boussole l'est au pôle, des hommes qui défendraient la justice et la vérité
même si l'univers s'écroulait.» Ellen Gould WHITE, education, P. 55

Le Jeudi, Avril 01, 2021 05:33 GMT, JB Data31 <jbdata31@gmail.com> a écrit:
 find the start-master.sh file with command excuted as root  find / -name "start-master.sh"
-print.Check that the directory found is well put in the $PATH.As a first step go to the directory
where the start-master.sh is with cd command and execute with command ./start-master.sh. @JBΔ
  Le mer. 31 mars 2021 à 12:35, GUINKO Ferdinand <tonguimferdinand@guinko.net>
a écrit :
I have exited from the container, and logged in using:sudo docker run -it -p8080:8080 ubuntu
Then I tried to launch Start Standalone Spark Master Server doing:
start-master.sh
and got the following message:
bash: start-master.sh: command not foundSo I started the process of setting the environmental
variables again doing:echo "export SPARK_HOME=/opt/spark" >> ~/.profile
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/bin:/sbin:$SPARK_HOME/bin:$SPARK_HOME/sbin
echo $PATH
echo "export PYSPARK_PYTHON=/usr/bin/python3" >> ~/.profileHere is the output of the
file .profile:root@291b0eb654ea:/# cat ~/.profile
# ~/.profile: executed by Bourne-compatible login shells.

if [ "$BASH" ]; then
  if [ -f ~/.bashrc ]; then
    . ~/.bashrc
  fi
fi

mesg n 2> /dev/null || true
export SPARK_HOME=/opt/spark
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/bin:/sbin:/opt/spark/bin:/opt/spark/sbin
export PYSPARK_PYTHON=/usr/bin/python3I also typed this command:root@291b0eb654ea:/# source
~/.profileI am still getting the following message:bash: start-master.sh: command not foundWhat
am missing please?

-- 
«Ce dont le monde a le plus besoin, c'est d'hommes, non pas des hommes qu'on achète et qui
se vendent, mais d'hommes profondément loyaux et intègres, des hommes qui ne craignent pas
d'appeler le péché par son nom, des hommes dont la conscience soit aussi fidèle à son
devoir que la boussole l'est au pôle, des hommes qui défendraient la justice et la vérité
même si l'univers s'écroulait.» Ellen Gould WHITE, education, P. 55

Le Mardi, Mars 30, 2021 21:01 GMT, Mich Talebzadeh <mich.talebzadeh@gmail.com> a écrit:
 Those two export lines means set SPARK_HOME and PATH as environment variables in the session
you have in Ubuntu. Check this website for more info bash - How do I add environment variables?
- Ask Ubuntu  If you are familiar with windows, then they are equivalent to Windows environment
variables. For example, note SPARK_HOME    Next. Now you are trying to start spark in
standalone mode. Check the following link Spark Standalone Mode - Spark 3.1.1 Documentation
(apache.org) to learn more about it And also check the logfile generated by invoking spark-master.sh
in your output starting org.apache.spark.deploy.master.Master, logging to /opt/spark/logs/spark--org.apache.spark.deploy.master.Master-1-23d865d7f117.out HTH 

 
   view my Linkedin profile
 
Disclaimer: Use it at your own risk. Any and all responsibility for any loss, damage or
destruction of data or any other property which may arise from relying on this email's technical content
is explicitly disclaimed. The author will in no case be liable for any monetary damages arising
from such loss, damage or destruction. 
  On Tue, 30 Mar 2021 at 20:48, GUINKO Ferdinand <tonguimferdinand@guinko.net> wrote:This
is what I am having now:
root@33z261w1a18:/opt/spark# export SPARK_HOME=/opt/spark
root@33z261w1a18:/opt/spark# export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/bin:/sbin:$SPARK_HOME/bin:$SPARK_HOME/sbin
root@33z261w1a18:/opt/spark# echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/bin:/sbin:/opt/spark/bin:/opt/spark/sbin
root@33z261w1a18:/opt/spark# start-master.sh
starting org.apache.spark.deploy.master.Master, logging to /opt/spark/logs/spark--org.apache.spark.deploy.master.Master-1-23d865d7f117.out
root@33z261w1a18:/opt/spark#It seems that SPARK was trying to start but couldn't.

Please would you explain me what the following lines means and do:export SPARK_HOME=/opt/spark
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/bin:/sbin:$SPARK_HOME/bin:$SPARK_HOME/sbin then echo
$PATH
Thank you for the assistance.

-- 
«Ce dont le monde a le plus besoin, c'est d'hommes, non pas des hommes qu'on achète et qui
se vendent, mais d'hommes profondément loyaux et intègres, des hommes qui ne craignent pas
d'appeler le péché par son nom, des hommes dont la conscience soit aussi fidèle à son
devoir que la boussole l'est au pôle, des hommes qui défendraient la justice et la vérité
même si l'univers s'écroulait.» Ellen Gould WHITE, education, P. 55

Le Mardi, Mars 30, 2021 15:00 GMT, Mich Talebzadeh <mich.talebzadeh@gmail.com> a écrit:
 Ok simple export SPARK_HOME=/opt/spark
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/bin:/sbin:$SPARK_HOME/bin:$SPARK_HOME/sbin then echo
$PATH which start-master.sh and send the output HTH
 

 
   view my Linkedin profile
 
Disclaimer: Use it at your own risk. Any and all responsibility for any loss, damage or
destruction of data or any other property which may arise from relying on this email's technical content
is explicitly disclaimed. The author will in no case be liable for any monetary damages arising
from such loss, damage or destruction. 
  On Tue, 30 Mar 2021 at 13:23, GUINKO Ferdinand <tonguimferdinand@guinko.net> wrote:Where
is SPARK? I also tried this:

root@33z261w1a18:/opt/spark# whereis spark-shell
spark-shell: /opt/spark/bin/spark-shell2.cmd /opt/spark/bin/spark-shell.cmd /opt/spark/bin/spark-shell

-- 
«Ce dont le monde a le plus besoin, c'est d'hommes, non pas des hommes qu'on achète et qui
se vendent, mais d'hommes profondément loyaux et intègres, des hommes qui ne craignent pas
d'appeler le péché par son nom, des hommes dont la conscience soit aussi fidèle à son
devoir que la boussole l'est au pôle, des hommes qui défendraient la justice et la vérité
même si l'univers s'écroulait.» Ellen Gould WHITE, education, P. 55

Le Mardi, Mars 30, 2021 09:00 GMT, Mich Talebzadeh <mich.talebzadeh@gmail.com> a écrit:
 OK on your path where is SPARK? Try to edit your .profile with simple editor of your choice (vi,
vim etc if you are on Linux) export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/bin:/sbin:$PATHexport
SPARK_HOME=/opt/spark## Add it to the PATH!!!!export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH  Once
you have done it  do . ./.profile send the output of  echo $PATH HTH 
 
 
   view my Linkedin profile
 
Disclaimer: Use it at your own risk. Any and all responsibility for any loss, damage or
destruction of data or any other property which may arise from relying on this email's technical content
is explicitly disclaimed. The author will in no case be liable for any monetary damages arising
from such loss, damage or destruction. 
  On Tue, 30 Mar 2021 at 09:23, GUINKO Ferdinand <tonguimferdinand@guinko.net> wrote:Good
day Talebzadeh,

here are the outputs:

cat ~/.profile
root@33z261w1a18:/home# cat ~/.profile
# ~/.profile: executed by Bourne-compatible login shells.

if [ "$BASH" ]; then
  if [ -f ~/.bashrc ]; then
    . ~/.bashrc
  fi
fi

mesg n 2> /dev/null || true
export SPARK_HOME=/opt/spark
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/bin:/sbin
export PYSPARK_PYTHON=/usr/bin/python3
 echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/bin:/sbinThank you.

-- 
«Ce dont le monde a le plus besoin, c'est d'hommes, non pas des hommes qu'on achète et qui
se vendent, mais d'hommes profondément loyaux et intègres, des hommes qui ne craignent pas
d'appeler le péché par son nom, des hommes dont la conscience soit aussi fidèle à son
devoir que la boussole l'est au pôle, des hommes qui défendraient la justice et la vérité
même si l'univers s'écroulait.» Ellen Gould WHITE, education, P. 55

Le Lundi, Mars 29, 2021 22:24 GMT, Mich Talebzadeh <mich.talebzadeh@gmail.com> a écrit:
 OK just do cat ~/.profile and send the content please also do   echo $PATH and send
the output as well. HTH
 
 
   view my Linkedin profile
 
Disclaimer: Use it at your own risk. Any and all responsibility for any loss, damage or
destruction of data or any other property which may arise from relying on this email's technical content
is explicitly disclaimed. The author will in no case be liable for any monetary damages arising
from such loss, damage or destruction. 
  On Mon, 29 Mar 2021 at 22:06, GUINKO Ferdinand <tonguimferdinand@guinko.net> wrote:Hi
Talebzadeh,

thank you for your answer. I am sorry, but I don't  undertand what I need to do. It seems
that I already put SPARK_HOME/sbin in my path as I have this line among the 3 lines I have
sent in my initial email:

echo "export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin" >> ~/.profile

Isn't it? Also should I remove the "echo" as it seems you don't have them in your commands.

I am following this tutorial: https://phoenixnap.com/kb/install-spark-on-ubuntu but installing
Spark 3.1.1 with Hadoop 2.7.

Thank you for any help.

Ferdinand
-- 
«Ce dont le monde a le plus besoin, c'est d'hommes, non pas des hommes qu'on achète et qui
se vendent, mais d'hommes profondément loyaux et intègres, des hommes qui ne craignent pas
d'appeler le péché par son nom, des hommes dont la conscience soit aussi fidèle à son
devoir que la boussole l'est au pôle, des hommes qui défendraient la justice et la vérité
même si l'univers s'écroulait.» Ellen Gould WHITE, education, P. 55

Le Lundi, Mars 29, 2021 18:57 GMT, Mich Talebzadeh <mich.talebzadeh@gmail.com> a écrit:
 In my case export SPARK_HOME=/d4T/hduser/spark-3.1.1-bin-hadoop3.2export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH  which
start-master.sh/d4T/hduser/spark-3.1.1-bin-hadoop3.2/sbin/start-master.sh You need to add $SPARK_HOME/sbin
to your path as well  HTH 

 
   view my Linkedin profile
 
Disclaimer: Use it at your own risk. Any and all responsibility for any loss, damage or
destruction of data or any other property which may arise from relying on this email's technical content
is explicitly disclaimed. The author will in no case be liable for any monetary damages arising
from such loss, damage or destruction. 
  On Mon, 29 Mar 2021 at 19:19, GUINKO Ferdinand <tonguimferdinand@guinko.net> wrote:Hi,

I have installed Docker, Spark 3.1.1 and Hadoop 2.7 on Ubuntu 18.04.
After I have executed the following 3 lines
echo "export SPARK_HOME=/opt/spark" >> ~/.profile
echo "export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin" >> ~/.profile
echo "export PYSPARK_PYTHON=/usr/bin/python3" >> ~/.profile
I tried to start the master server by typing
start-master.sh
and got the following error message
bash: start-master.sh: command not found
Thank you for any help.Ferdinand
-- 
«Ce dont le monde a le plus besoin, c'est d'hommes, non pas des hommes qu'on achète et qui
se vendent, mais d'hommes profondément loyaux et intègres, des hommes qui ne craignent pas
d'appeler le péché par son nom, des hommes dont la conscience soit aussi fidèle à son
devoir que la boussole l'est au pôle, des hommes qui défendraient la justice et la vérité
même si l'univers s'écroulait.» Ellen Gould WHITE, education, P. 55
 
 
 
 
 
 

Mime
View raw message