Q: DataSet Flatmap pour vider Java Spark Java

Vous pouvez obtenir le même résultat à l'aide de Spark SQL et org.apache.spark.sql.functions:

explode_events.select(
    $"e_key",
    $"f_timestamp_day",
    $"key",
    explode(split($"value","\\^")),
    $"f_country",
    $"f_os",
    $"received_date"
).show()

Essayez ceci-

1. Chargez les données de test fournies xxx

supprimer distincte de la matrice et l'explosion xxx

Utilisez la fonction Split pour scinder la valeur COL et utilisez Array_Disticnct et explosez la fonction pour obtenir le résultat.

from pyspark.sql.functions import *
#create df1
df1= df.withColumn("value",explode(array_distinct((split("VALUES","\\^")))))