-2
votes

Comment créer des délais spécifiques dans Spark

J'ai des données de suivi dans ce que nous stockons le numéro de tracker et l'arrivée_timestamp.

+---------+-------------------+
|trackerno|              adate|
+---------+-------------------+
| 54030173|2019-03-01 17:45:00|
| 53451324|2019-03-01 17:50:00|
| 53471705|2019-03-01 17:59:00|


4 commentaires

Je le veux pour chaque heure (0-24).


La fenêtre 15 minutes restera-t-elle statique à chaque fois. Je veux dire qu'il aura toujours un temps de départ et de fin spécifique car 15 minutes de fenêtre peut tomber à tout moment entre 0 et 24 heures. Veuillez spécifier plus de détails


Pourriez-vous ajouter ce que vous avez essayé jusqu'à présent. Cela ressemble à la question de l'affectation sans aucune tentative de votre part \.


v_df.distinct (). Avec column ("horodatage", to_timettamp (UNIX_TMESTAMM (COL ("Adate"))))) .withcolumn ("date", date_format (Col ("horodatage"), "AAAA-MM-DD" ))) .WIhColumn ("Time", date_format (Col ("TimeStamp"), "HH: MM: SS")) .withcolumn ("MyData", quand (minute ($ ""). Entre (44,59). , 1). Sinon (0)). Afficher ()


3 Réponses :


0
votes

Vous pouvez essayer quelque chose comme ceci: xxx


0 commentaires

0
votes

Votre question n'était pas très claire de manière particulière comment vous allez mesurer un temps de début et de fin de fenêtre de 15 minutes. Je ne suis que de répondre basé sur ma petite compréhension.

Création d'une fenêtre avec 15 minutes de délais xxx

Cela vous mènera comme ça. < Pré> xxx


0 commentaires

0
votes
df.where(minute($"ts")>=45)

0 commentaires