Apache Spark est un moteur de traitement de données distribué open source écrit en Scala fournissant une API unifiée et des ensembles de données distribués aux utilisateurs pour le traitement par lots et en continu. Les cas d'utilisation d'Apache Spark sont souvent liés à l'apprentissage automatique / profond, au traitement des graphiques.
La plupart des questions sur spark sont utilisées show comme exemple de code sans le code qui génère le dataframe, comme ceci: df.show()
+-------+--------+ ...
J'ai un exemple de code [BNK,c1@v1,c2@v2,c3@v3,c5@20181106]
Sortie réelle: [BNK,c1@v1,c2@v2,c3@v3]
[BNK,c1@v1,c2@v2,c3@v3]
[BNK,c1@v1,c2@v2,c3@v3]
[BNK,c1@v1,c2@v2,c ...
J'utilise PySpark 2.4.0 et lorsque j'ai exécuté le code suivant dans pyspark :$ ./bin/pyspark
Python 2.7.16 (default, Mar 25 2019, 15:07:04)
...
Welcome to
__ ...
J'ai essayé d'installer et d'exécuter un simple Java Apache Spark dans intellij sous Windows, mais j'ai une erreur que je ne peux pas résoudre. J'ai installé spark via ...
