J'essaie d'exécuter l'application Spark en mode autonome, après avoir installé l'étincelle lorsque j'ai essayé d'exécuter la commande spark-submit, j'ai trouvé l'erreur ci-dessus, aucun fichier java n'a été trouvé. J'ai essayé deux approches différentes.
Ci-dessous mon bash_profile
JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home"
Voici mon fichier etc / environment:
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home export SPARK_HOME=/Users/xxxx/server/spark-2.3.0-bin-hadoop2.7 export SBT_HOME=/Users/xxxx/server/sbt export SCALA_HOME=/Users/xxxx/server/scala-2.11.12 export PATH=$JAVA_HOME/bin:$SBT_HOME/bin:$SBT_HOME/lib:$SCALA_HOME/bin:$SCALA_HOME/lib:$PATH export PATH=$JAVA_HOME/bin:$SPARK_HOME:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH export PYSPARK_PYTHON=python3
Quelqu'un pourrait-il m'aider à résoudre ce problème en essayant d'exécuter l'application spark-scala à partir de 2 jours sur mon Mac .
3 Réponses :
Cela devrait vous aider. Comment obtenir le chemin java dans CentOS?
Ils résident généralement dans / usr / lib / jvm. Vous pouvez les lister via ll / usr / lib / jvm. La valeur que vous devez entrer dans le champ JAVA_HOME dans jenkins est /usr/lib/jvm/jdk1.8.0_192
Ici, le chemin bin devrait être présent, mettez le chemin Java Home.
Désolé, je n'ai pas pu voir de dossier jvm
dans / usr / lib /, je ne sais pas pourquoi mais je peux les programmes scala et java sans aucun problème.
Juste pour que j'essaye d'exécuter cette application Spark-Scala sur mon Mac
Tout d'abord, vous pouvez vérifier que la variable d'environnement Java a été configurée avec succès, puis vérifier que le chemin java_home dans "sparkenv.conf" existe et qu'il est correct. J'espère pouvoir vous aider.
Je n'ai pas pu trouver le fichier sparkenv.conf
dans mon mac à la place, j'ai trouvé spark-env.sh
dans /Users/xxxx/server/spark-2.3.0-bin-hadoop2.7/conf
et /Users/xxxx/server/spark-2.3.0-bin-hadoop2.7/conf
ai ajouté java_home et pourtant je pourrais voir le même problème.
C'est vrai, le fichier "spark env.conf". Vous pouvez afficher le chemin de votre Java en utilisant la commande "which Java" sur le terminal MAC. Ensuite, «java -version» vérifie si la version de Java est compatible avec saprk.
Si vous utilisez Python, vous pouvez définir la variable d'environnement Java comme suit:
Étape 1. Découvrez où se trouve votre Java / jdk:
import os os.environ["JAVA_HOME"] = <path-you-obtained>
(ou ! echo $(/usr/libexec/java_home -v 1.8)
dans la cellule du notebook Jupyter)
Étape 2. Configurez manuellement l'emplacement Java:
echo $(/usr/libexec/java_home -v 1.8)
Cela a fonctionné pour moi pour l'utilisation de pyspark 2.4.x