Dev Faq

Questions et réponses pour le airflow :

Apache Airflow est une plate-forme de gestion de flux de travail permettant de créer, de planifier et de surveiller par programme des flux de travail sous forme de graphiques acycliques dirigés (DAG) de tâches.

0
votes

Dépendance en python manquante lors de la soumission de la tâche de Pyspark à EMR avec le flux d'air

Nous utilisons un script d'amorçage pour installer des bibliothèques python sur les nœuds du cluster EMR pour nos travaux Spark. Le script ressemble à ceci: return ...
0 commentaire(s)
0
votes

Comment planifier deux DAG pour fonctionner dans deux annulations différentes, mais la seconde fonctionner uniquement après la fin du premier

J'ai deux DAG différents qui doivent courir dans différentes fréquences. Un i.e. DAG1 doit exécuter chaque semaine et le DAG2 doit fonct ...
0 commentaire(s)
-1
votes

Comment gérer un travail de Talend .jar sur le flux d'air?

Bonjour les gens de la terre! J'utilise Virage d'air strong> pour planifier et exécuter l'emploi .jar générés avec Talend Open Studio Bigdata R ...
0 commentaire(s)
6
votes

Flux d'air Bigqueryoperator: Comment sauver la requête Résultat dans une table partitionnée?

J'ai un simple dag xxx lors de l'exécution de la tâche BQ_Query La requête SQL est enregistrée dans une table fronde. Je v ...
2 commentaire(s)