AWS Glue est un service ETL (extraction, transformation et chargement) entièrement géré qui peut catégoriser vos données, les nettoyer, les enrichir et les déplacer entre différents magasins de données. AWS Glue se compose d'un référentiel de données central appelé AWS Glue Data Catalog, d'un moteur ETL qui génère automatiquement du code Python et d'un planificateur qui gère la résolution des dépendances, la surveillance des tâches et les nouvelles tentatives. AWS Glue est sans serveur, il n'y a donc pas d'infrastructure à gérer.
J'utilise PySpark (sur AWS Glue, si cela compte). J'obtiens des erreurs de temporisation: (il semble que l'écriture sur le parquet échoue) Les journaux complets sur ...
Nous utilisons le service AWS Glue pour convertir des fichiers json en parquet. Le travail de collage par intermittence échoue avec une erreur de ressource indisponible.
Quelqu'un peut-il n ...
À mon avis, finissez ici ... J'ai 15 fichiers csv que je génère à partir d'une requête beeline comme: beeline -u CONN_STR --outputformat=dsv -e "SELE ...
Je souhaite lire les données filtrées à partir d'une instance Mysql à l'aide de AWS glue job. Puisqu'une connexion jdbc glue ne me permet pas de pousser vers le bas le ...
