Questions et réponses pour le pyspark :

L'API Spark Python (PySpark) expose le modèle de programmation apache-spark à Python.

3
votes
> J'essaye de calculer la formule X = false / (false + true) pour chaque card_scheme et j'obtiens toujours un dataframe à la fin. Je suis attend quelque chose ...

3
votes
J'ai un dataframe avec deux colonnes, une adresse et un nom de rue. df.withColumn("new col", col("street")\ .rlike(concat(lit('.*'),col('street_name'),col('.*))))\ .show(20,False) ...

3
votes
Je voudrais supprimer les guillemets doubles "" lorsque la valeur est vide lors de l'enregistrement de mon CSV dans S3 avec la méthode df.write.save () de Spark Version Spark: 2.4.0 ...

3
votes
La plupart des questions sur spark sont utilisées show comme exemple de code sans le code qui génère le dataframe, comme ceci: df.show() +-------+--------+ ...