Spark Streaming est une extension de l'API principale Apache Spark qui permet un traitement de flux à haut débit et tolérant aux pannes des flux de données en direct. Depuis la version 1.3.0, il prend en charge la sémantique de traitement une seule fois, même en cas d'échec.
Mon travail de streaming structuré Spark génère en continu des fichiers parquet que je souhaite supprimer après l'expiration (disons après 30 jours). Je stoc ...
J'ai une application de streaming Spark qui fonctionne en fin de journée et consomme les événements kafka envoyés par l'application en amont. Actuellement, l'applicatio ...
