Dev Faq

Questions et réponses pour le pyspark :

L'API Spark Python (PySpark) expose le modèle de programmation apache-spark à Python.

3
votes

Comment réparer "ImportError: PyArrow> = 0.8.0 doit être installé; cependant, il n'a pas été trouvé."?

J'utilise PySpark 2.4.0 et lorsque j'ai exécuté le code suivant dans pyspark :$ ./bin/pyspark Python 2.7.16 (default, Mar 25 2019, 15:07:04) ... Welcome to __ ...
2 commentaire(s)
3
votes

Pyspark from_unixtime (unix_timestamp) ne se convertit pas en horodatage

J'utilise Pyspark avec Python 2.7. J'ai une colonne de date en chaîne (avec ms) et j'aimerais la convertir en horodatage C'est ce que j'ai essayé jusqu'à présent ...
1 commentaire(s)
3
votes

Le cluster Databricks n'initialise pas la bibliothèque Azure avec l'erreur: le module 'lib' n'a pas d'attribut 'SSL_ST_INIT'

J'utilise le bloc-notes Azure DataBricks avec la bibliothèque Azure pour obtenir la liste des fichiers dans le stockage Blob. Cette tâche est planifiée et le cluster est arr&ec ...
1 commentaire(s)
2
votes

Comment accéder à un compartiment de stockage MinIO à partir d'un notebook Jupyter Pyspark?

J'ai des instances de notebook MinIO et Jupyter Pyspark exécutées localement sur des conteneurs Docker distincts. Je peux utiliser le package minio Python pour afficher les seaux et ...
0 commentaire(s)