J'essaie d'exécuter un processus Spark à partir de mon application Web Spring et je reçois cette erreur:
java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.getPassword(Ljava/lang/String;)[C
at org.apache.spark.SSLOptions$.$anonfun$parse$8(SSLOptions.scala:188) ~[spark-core_2.12-2.4.3.jar:2.4.3]
at scala.Option.orElse(Option.scala:306) ~[scala-library-2.12.8.jar:na]
at org.apache.spark.SSLOptions$.parse(SSLOptions.scala:188) ~[spark-core_2.12-2.4.3.jar:2.4.3]
at org.apache.spark.SecurityManager.<init>(SecurityManager.scala:117) ~[spark-core_2.12-2.4.3.jar:2.4.3]
at org.apache.spark.SparkEnv$.create(SparkEnv.scala:236) ~[spark-core_2.12-2.4.3.jar:2.4.3]
at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:185) ~[spark-core_2.12-2.4.3.jar:2.4.3]
at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:257) ~[spark-core_2.12-2.4.3.jar:2.4.3]
at org.apache.spark.SparkContext.<init>(SparkContext.scala:424) ~[spark-core_2.12-2.4.3.jar:2.4.3]
at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2520) ~[spark-core_2.12-2.4.3.jar:2.4.3]
at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$5(SparkSession.scala:935) ~[spark-sql_2.12-2.4.2.jar:2.4.2]
at scala.Option.getOrElse(Option.scala:138) ~[scala-library-2.12.8.jar:na]
at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:926) ~[spark-sql_2.12-2.4.2.jar:2.4.2]
3 Réponses :
Le problème est une indication claire de la non-concordance des versions des bibliothèques hadoop.
De plus, j'ai rencontré le même problème et depuis que j'utilise maven, j'ai commenté ci-dessous. puisque je n'utilise pas. il a résolu le problème
<!--<dependency>-->
<!--<groupId>org.apache.hadoop</groupId>-->
<!--<artifactId>hadoop-client</artifactId>-->
<!--<version>${hadoop.version}</version>-->
<!--<scope>provided</scope>-->
<!--</dependency>-->
Les versions de hadoop sont différentes, assurez-vous qu'elles sont identiques dans les dépendances de hadoop.
J'obtenais également la même erreur avec Hadoop-2.7.2 et Spark-2.3.1
J'ai résolu le problème en supprimant les anciens fichiers JAR de date de C: \ work \ spark-2.3.1-bin-hadoop2.7 \ jars. J'avais tous les pots avec les dates 2018 et 2019 modifiées.
J'ai supprimé tous les fichiers 2018 et je n'ai conservé que les fichiers 2019.
Cheers !!! Le problème est résolu !!!!!!
stackoverflow.com/questions/35186/… < / a>
Comparable à stackoverflow.com/questions/49059136/… Vérifiez les versions des différentes bibliothèques dans votre chemin de classe: hadoop, spark