Y a-t-il un moyen facile d'utiliser Hadoop autre qu'avec la ligne de commande?
Quels outils utilisez-vous et lequel est le meilleur?
7 Réponses :
Vous pouvez rechercher des outils d'intégration de données tels que Talend, Cloveretl ou Pentaho. Ils ont fourni un soutien à Hadoop.Talend a fourni un vaste soutien. Vous n'avez pas beaucoup d'informations sur les autres outils de soutien à Hadoop.
Hue est assez cool, de nouvelles fonctionnalités sont régulièrement poussées et il est open source.
de son site web : Hue dispose d'un navigateur de fichiers pour HDFS, d'un concepteur d'emploi / navigateur pour MapReduce, d'éditeurs de requêtes pour la recherche de Hive, Pig, Cloudera Impala et Solr Search. Il est également navigué avec une application Oozie pour créer des flux de travail, divers coquilles et une collection d'API Hadoop.
Pouvons-nous utiliser Hue sans la mise en œuvre de Hadoop de CDH? Je voulais dire, pourrions-nous installer / télécharger le package officiel Hadoop d'Apache, l'installer et le faire fonctionner avec Hue?
Hue est open source ( GITUB.COM/CLOUDERA/HUE ) et fonctionne avec Vanilla Hadoop et certains concurrents de Cloudera Distributions. Ils sont quelques exemples sur le groupe de Hue: groups.google.com/a/cloudera.org/forum / #! Recherche / HUE-User / ... évidemment , l'intégration / test / support est préférable avec le CDH.
Hue fonctionne bien avec CDH / HDP / Vanilla Hadoop. Il n'y a aucune limitation ni dépendance sur Hadoop Internals, il n'utilise que des API externes. Seule la ruche / la cire d'abeille peut avoir des problèmes, mais devrait être correct.
Si vous êtes sous Windows, vous pouvez utiliser un projet open source appelé HDFS Explorer .
Si vous êtes sur un Mac ou Linux, vous pouvez monter directement des systèmes de fichiers Hadoop à l'aide de fusible, puis utilisez Finder ou Nautilus, ou tout ce que vous utilisez normalement pour la navigation du système de fichiers. Checkout The Hadoop Wiki sur la façon de configurer les supports http://wiki.apache.org/hadoop/mountablehdfs
Chaque distribution fournit une interface graphique Web, dans certains cas Hue, et dans d'autres, sur la base du nouveau cadre de vue Ambari, qui fournit un accès aux fonctionnalités de fichier.
On dirait que vous n'offrez plus l'explorateur HDFS?
J'ai effectivement quitté la porte rouge. Ils ont depuis quitté le marché Hadoop. Je vais mettre à jour la réponse, merci de me le rappeler.
Bien que Enrico ait déjà répondu à la question, j'aimerais ajouter peu de points à cela.
Hue est un outil vraiment étonnant et nous l'utilisons à Goibibo.com depuis 1 an. Nous l'avons exposé aux développeurs et aux hommes d'affaires pour la gestion de leurs requêtes de la ruche et obtenir des résultats.
Aussi, nous indexerons les données du journal afin que Cloudera search est assez pratique. Avec la nouvelle version de Hue (3.6), vous pouvez également exécuter des requêtes sur les données de RDBMS à l'aide de la teinte elle-même.
Je recommanderais vraiment de l'utiliser parce que c'est vraiment simple à utiliser et fournit une interface graphique à la plupart de tout ce qui existe dans l'écosystème BigData.
Si vous recherchez simplement quelque chose d'une étape de la CLI pour explorer, mon installation dispose d'un serveur Web installé avec Hadoop et il est accessible à: 50075. Le port est configurable, mais donne-le à essayer.
Si vous utilisez un CDH, alors HUE (Hadoop User Interface) est livré avec elle. Et c'est une très bonne interface utilisateur pour Hadoop. Vous pouvez également utiliser Installer séparément. Il prend en charge tous les composants de Hadoop.
Ceci est un gestionnaire de fichiers hadoop léger HFX . Vous pouvez utiliser ceci. Il a des caractéristiques essentielles telles que glisser-déposer, télécharger, couper, copier et coller ...