Dev Faq

Questions et réponses pour le pyspark :

L'API Spark Python (PySpark) expose le modèle de programmation apache-spark à Python.

0
votes

Comptage des instances de valeurs dans les listes dans une seule colonne

J'ai un dataframe PySpark où 1 colonne se compose de listes de chaînes. Je voudrais compter le nombre d'instances de chaque élément dans chaque liste de chaînes su ...
2 commentaire(s)
0
votes

Diviser une colonne de chaîne de dataframe par deux délimiteurs différents

Ce qui suit est mon jeu de données: xxx Ce qui suit est le code que j'ai essayé d'utiliser xxx mais il éc ...
1 commentaire(s)
0
votes

Dépendance en python manquante lors de la soumission de la tâche de Pyspark à EMR avec le flux d'air

Nous utilisons un script d'amorçage pour installer des bibliothèques python sur les nœuds du cluster EMR pour nos travaux Spark. Le script ressemble à ceci: return ...
0 commentaire(s)
0
votes

Erreur de Pyspark: "Une erreur s'est produite lors de l'appelant O31.ParsedAtype"

J'essaie de charger le fichier .gz avec pyspark, mais obtenir cette erreur. Mon code Python est le suivant: xxx Le fichier est stocké comme suit: ...
0 commentaire(s)