Mongodb etl (php / java ...)

Pour des inserts simples de documents CSV, je suggère de regarder le Mongo wiki page .

Pour quelque chose de plus compliqué, je suggérerais d'écrire un script ad-hoc dans la langue que vous êtes le plus à l'aise avec.

Intégration de données Pentaho prend en charge Mongodb (voir la documentation http://wiki.pentaho.com/ Affichage / EAI / Pentaho + Data + Intégration + étapes ).

De même Talend Supports Mongodb: https://github.com/adrien-mogenet/tmongodbconnection

Il semble que l'intégration des données Pentaho et Talend ne soutient que la lecture de MongoDB, mais ne pas écrire.

Un autre outil qui vient d'annoncer la prise en charge de Mongodb est DataCleaner et prend en charge les opérations de lecture et d'écriture. Il ne se positionne pas tout à fait comme un outil ETL, mais plus comme un outil d'analyse de la qualité des données, mais il dispose également de capacités de type ETL.

http://dataCleaner.eObject.org

J'ai créé ma propre solution ETL avec des scripts Python pour transférer des données de MySQL vers MongoDB. C'est génial dans mon esprit.

Fondamentalement, j'ai utilisé à la suite de deux modules Python pour accéder à MySQL et MongoDB:

1. pymisto
2. python-mysql.connect

   Les deux sont installables à partir du référentiel officiel Ubuntu.

J'ai créé le pilote MongoDB pour outil Scriptella etl . Il est disponible à https://github.com/scriptella/scriptella-mongodb .

Exemple de migration des données de la table relationnelle: P>

<connection id="out" url="mongodb://localhost/test"  classpath="../lib/scriptella-mongodb-driver.jar:../lib/mongo-java-driver-2.10.1.jar" />

<query connection-id="in">
    SELECT * FROM USERS
    <script connection-id="out">
        {
            operation: 'db.collection.save',
            collection: 'users',
            data: {
                user_id: '?user_id',
                name: '?name'
            }
        }
    </script>
</query>

Ce programme PHP transfère automatiquement la base de données MongoDB sur MySQL, Il incitent les collections de Mogno, crée le schéma MySQL et transfère les données. Il ne fait que 1 niveau de profondeur (niveau 0 et 1), la nidification plus profonde n'est pas migrée:

http://my.sociopal.com/sociopaltech/post?id=simple_utility_for_copying_data_from_mongodb_to_mysql_this_is_a_simple_php_program_im_using_in_o_61755 < / a>