Dev Faq

Questions et réponses pour le pyspark-sql :

Utilisez cette balise pour les questions liées au module SQL dans PySpark.

3
votes

Comment réparer "ImportError: PyArrow> = 0.8.0 doit être installé; cependant, il n'a pas été trouvé."?

J'utilise PySpark 2.4.0 et lorsque j'ai exécuté le code suivant dans pyspark :$ ./bin/pyspark Python 2.7.16 (default, Mar 25 2019, 15:07:04) ... Welcome to __ ...
2 commentaire(s)
2
votes

Je dois ajouter uniquement ceux qui ont des valeurs non nulles dans pyspark dataframe

J'ai le dataframe pyspark (df) ayant ci-dessous un exemple de tableau (table1): id, col1, col2, col3 1, abc, null, def 2, nul, def, abc 3, def, abc, null J'essaie d'obtenir une ...
1 commentaire(s)
1
votes

Appeler une fonction pour chaque ligne d'une dataframe dans pyspark [non pandas]

Il y a une fonction dans pyspark: +----------+----------+-----------+ | NUM1 | NUM2 | XYZ | +----------+----------+-----------+ | 10 | 20 | HELLO| ...
0 commentaire(s)
0
votes

Erreur de Pyspark: "Une erreur s'est produite lors de l'appelant O31.ParsedAtype"

J'essaie de charger le fichier .gz avec pyspark, mais obtenir cette erreur. Mon code Python est le suivant: xxx Le fichier est stocké comme suit: ...
0 commentaire(s)