Dev Faq
0
votes

Spark-Soumettre Date Arguments

0 commentaires

3 Réponses :

0
votes

Essayez ceci - 

spark-submit \
.
.
--conf "spark.service.user.startdate=2019-03-04" \
--conf "spark.service.user.enddate=2019-03-07"   \
.
.


In your code refer above config property as -

spark.sparkContext.getConf.get("spark.service.user.startdate")
spark.sparkContext.getConf.get("spark.service.user.enddate")

0 commentaires
1
votes

Si c'est un script Python, essayez avec le module SYS. xxx

2 commentaires

C'est un script de pyspark, importerait des systèmes de travail? Utilisé et il dit ne peut pas reconnaître sys

Essayez de courir avec Python ScriptName arg1 arg2

0
votes

Le moyen le plus propre de passer l'argument à Spark Script est en passant des arguments nommés à l'aide du module ARGS Parser.

Do Pip Installez argparse

code d'échantillon: xxx

plus sur args parser: https://docs.python.org/2/library/argparse.htmlled/a >

0 commentaires

Articles qui pourrait vous intéresser :

 Comment obtenir des lots de lignes de Spark à l'aide de pyspark
Comment collecter une carte après groupe par dans Pyspark Dataframe?
PySpark: lire plusieurs fichiers XML (liste des chemins s3) dans Spark dataframe
Spark-submit error line 71: /Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home/bin/java: aucun fichier ou répertoire de ce type sur Mac