Apache Spark est un moteur de traitement de données distribué open source écrit en Scala fournissant une API unifiée et des ensembles de données distribués aux utilisateurs pour le traitement par lots et en continu. Les cas d'utilisation d'Apache Spark sont souvent liés à l'apprentissage automatique / profond, au traitement des graphiques.
J'essaie d'écrire un dataframe dans kafka au format JSON et d'ajouter une clé au data frame dans Scala, je travaille actuellement avec cet exemple de kafka-spark: df.selectExpr( ...
Je suis nouveau dans Spark et je dois masquer les numéros de carte de crédit présents dans un Dataframe Spark où les quatre derniers chiffres ne sont affichés qu ...
