J'essaie d'ingérer des données mainframe IMS dans Hadoop. Souhaitez savoir s'il existe une possibilité grâce à l'une des tâches suivantes a) Apache Spark ou MapReduce. b) Tout autre outil / technologie.
L'objectif principal est que nous souhaitons ingérer des données IMS-mainframe sur une base quotidienne / hebdomadaire qui seraient exécutées selon le calendrier.
4 Réponses :
Comme le mainframe IMS dispose d'un connecteur JDBC disponible, https://www.ibm.com/support/knowledgecenter/en/SSEPH2_13.1.0/com.ibm.ims13.doc.apg/ims_odbjdbcintro.htm en utilisant Sqoop sera un bon point de départ . (ce n'est certainement pas un pro IMS qui lit simplement la documentation)
À partir de sqoop, vous écrirez des données sur hadoop hdfs et pourrez ensuite les utiliser sur des ensembles de données Spark. Sqoop vous permet d'effectuer des importations complètes ou delta one. Je recommanderai à mon avis de recommander l'utilisation de sqoop 1 au lieu de la version 2. Avec un travail Cron pour planifier votre exécution, vous serez planifié comme vous le souhaitez.
Votre choix préféré (a), Apache Spark, est disponible pour z / OS. Sous une forme entièrement prise en charge commercialement, il s'appelle IBM Open Data Analytics for z / OS, parfois abrégé IzODA. IzODA prend définitivement en charge l'accès direct aux données IMS, mais avec des performances bien meilleures que l'accès IMS distant. Le numéro de programme IBM d'IzODA est 5655-OD1, et IBM propose une version d'évaluation basée sur le cloud pour que vous puissiez voir comment cela fonctionne.
Je suggérerais d'utiliser un connecteur JDBC pour DB2 et des décharges hautes performances pour les bases de données DL / I.
Il existe des produits pour la capture continue des données - Attunity et Optim en sont deux.
Vous pouvez faire en sorte que le système IMS délivre des messages MQ ou Kafka contenant les éléments intéressants si vous ne voulez pas tout.
L'interface DB2 pour les fichiers mainframe n'est pas la meilleure option. Nous avons eu un cas similaire dans mon travail et le pilote JDBC n'offrait pas l'ensemble des métadonnées nécessaires pour notre framework d'ingestion et la création de table HIVE.
Vous pouvez utiliser le flux le plus simple: