Spark SQL et DataFrames
Moyen 22 pointsUtilisez Spark SQL et DataFrames pour manipuler des données structurées.
Spark SQL permet d'utiliser SQL sur les données distribuées. Les DataFrames offrent une API optimisée similaire à Pandas mais distribuée. Ils sont plus performants que les RDDs pour les données structurées.
Votre code
Indice
Utilisez spark.read.csv(), createOrReplaceTempView(), spark.sql()
Résultat
Cliquez sur "Exécuter le code" pour voir le résultat de votre code. Cliquez sur "Soumettre" pour vérifier si votre réponse est correcte.