Nous utilisons le service AWS Glue pour convertir des fichiers json en parquet. Le travail de collage par intermittence échoue avec une erreur de ressource indisponible. Quelqu'un peut-il nous aider à résoudre le même problème?
3 Réponses :
J'ai également rencontré l'exception "Ressource indisponible" à quelques reprises, mais c'est de leur côté (service) et ils travaillent activement à l'améliorer.
J'ai ouvert un ticket d'assistance concernant cette exception et ils ont dit:
Glue crée un nouvel environnement Spark au niveau du backend afin de fonctionner les travaux soumis en fonction de l'ID de compte, du rôle IAM, de l'ID de sous-réseau et groupes de sécurité. L'exécution des tâches Glue sous différents utilisateurs IAM peut aider à atténuer ce problème. Ce faisant, Glue crée un nouvel environnement Spark au niveau du backend afin d'exécuter les tâches soumises par un rôle IAM différent ou un ID de compte différent.
Donc, si votre compte comporte plusieurs tâches en cours d'exécution simultanément et que l'erreur "Ressource indisponible" continue d'apparaître, je vous recommande de créer différents rôles IAM et de répartir les tâches entre eux afin d'atténuer ce problème particulier.
Ce problème persiste. Pour ma configuration était la zone de disponibilité dans laquelle se trouvait le sous-réseau de la connexion RDS. Le "correctif" était de:
Si la tâche échoue toujours avec la ressource non disponible, répétez jusqu'à ce qu'elle fonctionne.
J'ai récemment eu des difficultés avec la ressource indisponible lancée par Glue Job
De plus, je n'ai pas pu établir de connexion directe dans Glue en utilisant RDS - il a dit "aucun groupe de sécurité approprié trouvé"
J'ai rencontré ce problème en essayant de me connecter à AWS RDS à l'aide de Glue Job.
Le problème venait du groupe de sécurité utilisé par le RDS. Il est nécessaire de placer une règle entrante d'auto-référencement dans le groupe de sécurité.
Pour ceux qui ne savent pas ce qu'est une règle entrante auto-référencée, suivez les étapes
1) Accédez au groupe de sécurité que vous utilisez (VPC -> Groupe de sécurité)
2) Dans les règles entrantes, sélectionnez Modifier les règles entrantes
3) Ajouter une règle
a) Type - Tout le trafic b) Protocole - Tous c) Portée - TOUS d) Source - personnalisé et dans l'espace disponible, écrivez l'initiale de votre groupe de sécurité et sélectionnez-le. e) Enregistrez-le.
C'est fait!
si cette condition ne figurait pas dans vos règles entrantes de groupe de sécurité
Essayez de créer la connexion, vous pourrez créer la connexion.
Le travail devrait également fonctionner cette fois.
stackoverflow.com/questions/45813020/...