1
votes

Spark-submit error line 71: /Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home/bin/java: aucun fichier ou répertoire de ce type sur Mac

J'essaie d'exécuter l'application Spark en mode autonome, après avoir installé l'étincelle lorsque j'ai essayé d'exécuter la commande spark-submit, j'ai trouvé l'erreur ci-dessus, aucun fichier java n'a été trouvé. J'ai essayé deux approches différentes.

  • approche-1 : capable de supprimer le '/' supplémentaire en modifiant le fichier d'environnement mais le problème persiste
  • approche-2 : a rendu cohérents les fichiers ayant java home mais impossible de trouver le fichier spark.conf où je pouvais voir pour le rendre cohérent.
  • approche-3: J'ai essayé de changer le profil bash mais aucun résultat non plus

Ci-dessous mon bash_profile

JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home"

Voici mon fichier etc / environment:

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home

export SPARK_HOME=/Users/xxxx/server/spark-2.3.0-bin-hadoop2.7

export SBT_HOME=/Users/xxxx/server/sbt

export SCALA_HOME=/Users/xxxx/server/scala-2.11.12

export PATH=$JAVA_HOME/bin:$SBT_HOME/bin:$SBT_HOME/lib:$SCALA_HOME/bin:$SCALA_HOME/lib:$PATH

export PATH=$JAVA_HOME/bin:$SPARK_HOME:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

export PYSPARK_PYTHON=python3

Quelqu'un pourrait-il m'aider à résoudre ce problème en essayant d'exécuter l'application spark-scala à partir de 2 jours sur mon Mac .


0 commentaires

3 Réponses :


0
votes

Cela devrait vous aider. Comment obtenir le chemin java dans CentOS?

Ils résident généralement dans / usr / lib / jvm. Vous pouvez les lister via ll / usr / lib / jvm. La valeur que vous devez entrer dans le champ JAVA_HOME dans jenkins est /usr/lib/jvm/jdk1.8.0_192

Ici, le chemin bin devrait être présent, mettez le chemin Java Home.


2 commentaires

Désolé, je n'ai pas pu voir de dossier jvm dans / usr / lib /, je ne sais pas pourquoi mais je peux les programmes scala et java sans aucun problème.


Juste pour que j'essaye d'exécuter cette application Spark-Scala sur mon Mac



0
votes

Tout d'abord, vous pouvez vérifier que la variable d'environnement Java a été configurée avec succès, puis vérifier que le chemin java_home dans "sparkenv.conf" existe et qu'il est correct. J'espère pouvoir vous aider.


2 commentaires

Je n'ai pas pu trouver le fichier sparkenv.conf dans mon mac à la place, j'ai trouvé spark-env.sh dans /Users/xxxx/server/spark-2.3.0-bin-hadoop2.7/conf et /Users/xxxx/server/spark-2.3.0-bin-hadoop2.7/conf ai ajouté java_home et pourtant je pourrais voir le même problème.


C'est vrai, le fichier "spark env.conf". Vous pouvez afficher le chemin de votre Java en utilisant la commande "which Java" sur le terminal MAC. Ensuite, «java -version» vérifie si la version de Java est compatible avec saprk.



0
votes

Si vous utilisez Python, vous pouvez définir la variable d'environnement Java comme suit:

Étape 1. Découvrez où se trouve votre Java / jdk:

import os
os.environ["JAVA_HOME"] = <path-you-obtained>

(ou ! echo $(/usr/libexec/java_home -v 1.8) dans la cellule du notebook Jupyter)

Étape 2. Configurez manuellement l'emplacement Java:

echo $(/usr/libexec/java_home -v 1.8)

Cela a fonctionné pour moi pour l'utilisation de pyspark 2.4.x


0 commentaires