0
votes

Impossible de configurer l'application Spark avec Spark-Atlas-connecteur

ne peut pas configurer mon application Spark avec Apache Atlas via Spark-Atlas-connecteur.

J'avais clone https://github.com/hortonworks-spark/spark-atlas-connector projet et exécuté Package MVN . Ensuite, je mets tous les pots dans mon projet et configuration configure comme ceci: xxx

atlas est démarré via le conteneur Docker que j'ai tiré. kafka avec zookeper est fixé via le conteneur Docker que j'ai tiré aussi.

Le travail fonctionne sans connecteur d'Atlas Spark-Atlas, mais lorsque je veux ajouter un connecteur, il jette des exceptions. xxx

apache-spark apache-atlas

0 commentaires

3 Réponses :

1
votes

Je pense que vous avez oublié une autre étape de la documentation de configuration. L'erreur que vous avez des tiges de xxx
et de citer leur fichier README dans le repo github que vous avez affiché:
Assurez-vous également que le fichier de configuration de l'Atlas Atlas- Application.Properties est dans la classe de classe du conducteur. Par exemple, mettre ce fichier dans / conf .
2 commentaires Je travaille dans l'idée d'Intelijj et je commence mon travail là-bas (pas de console). J'ai créé Environnement Spark_Home avec un dossier Confi et y a mis atlas-applylication.properties mais quand même quelque chose est faux OMG! Atlas-Application.Properties Le chemin devrait être dans des propriétés. Je veux dire dans votre travail, il devrait ressembler à ce système.SetProperty ("Atlas.conf", "").
0 votes Veuillez vous reporter à ceci à partir de la page officielle de Connector Spark-Atlas-Connector. Le fichier Atlas-Application.Properties devrait être accessible. Assurez-vous également que l'Atlas Configuration Fichier Atlas-Application.Properties est dans la classe de classe du conducteur. Par exemple, mettre ce fichier dans / conf. Si vous utilisez le mode Cluster, veuillez également expédier ce fichier Conf sur le lecteur distant à l'aide de --Files Atlas-Application.Properties. 0 commentaires 1 votes System.setProperty ("Atlas.conf", "") est la solution correcte comme indiqué par OP. SAC utilise ApplicationProperties.java. Spécifiquement, il utilise ApplicationProperties.get. Le code source est ici: HTTPS: //github.com/apache/atlas/blob/master/intg/src/main/java/org/apache/atlas/aplicationProperties.java#l118 Vous pouvez voir la variable Atlas_Configuration_Directory_Property est définie sur "Atlas.conf": https: //github.com/apache/atlas/blob/master/intg/src/main/java/org/apache/atlas/aplicationProperties.java#l43 0 commentaires

Articles qui pourrait vous intéresser : Comment obtenir des lots de lignes de Spark à l'aide de pyspark PySpark: lire plusieurs fichiers XML (liste des chemins s3) dans Spark dataframe Spark-submit error line 71: /Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home/bin/java: aucun fichier ou répertoire de ce type sur Mac Filtrer les colonnes manquantes au-dessus du seuil dans l'étincelle