Dev Faq
7
votes

Comment utiliser la ruche sans hadoop

Je suis une nouvelle solution NosqL et je veux jouer avec la ruche. Mais l'installation de HDFS / Hadoop prend beaucoup de ressources et de temps (peut-être sans expérience mais je n'ai pas eu le temps de le faire).

Y a-t-il des moyens d'installer et d'utiliser la ruche sur une machine locale sans HDFS / Hadoop?

1 commentaires

Vous voulez dire HDFS? Hadoop est un éco-système, Hive, fait partie de Hadoop.

5 Réponses :

1
votes

mise à jour cette réponse est obsolète : avec ruche sur Spark Il n'est plus nécessaire d'avoir HDFS < / code> support.

La ruche nécessite des HDFS et de la carte / réduire afin que vous en auriez besoin. L'autre réponse a un certain mérite dans le sens de recommander un moyen simple / pré-configuré pour obtenir tous les composants pour vous.

Mais le gist de celui-ci est: Hive Besoin Hadoop et M / R Donc, dans une certaine mesure, vous devrez y faire face.

4 commentaires

Mal, la ruche peut fonctionner sans HDFS et mapper / réduire, il y a un mode appelé "local"; En outre, la ruche peut courir contre le moteur Tez au lieu de la carte / réduire.

@Thomasdecaux Vérifiez vos dates: ceci a été écrit en janvier 2014. C'est plus le cas que cette restriction est en place. Cela rend votre déclaration trompeuse sans éclaircir.

Oui tu as raison, c'est toujours difficile avec des réponses

HIVE Besoin de bibliothèques Hadoop, et l'utilisation de la ruche pour exécuter des requêtes nécessite Hadoop et la carte réduite. Mais ... Puis-je installer Hadoop et ne pas l'exécuter réellement si je veux juste utiliser le métastour de la ruche? J'avais hâte d'utiliser le métastore "autonome" dans la ruche 3, mais cela ne joue pas bien avec Presto mais malheureusement.

3
votes

Si vous ne faites que parler de la ruche avant de prendre une décision, vous pouvez simplement utiliser une machine virtuelle préconfigurée car @Maltram suggéré (HortonWorks, Cloudera, IBM et d'autres personnes offrent tous des VMS)

Ce que vous devriez garder à l'esprit que vous ne pourrez pas utiliser la ruche dans la production sans Hadoop ni HDFS afin que cela vous pose problème, vous devez envisager des alternatives à la ruche

0 commentaires
15
votes

Oui, vous pouvez exécuter la ruche sans Hadoop 1.Créez votre entrepôt sur votre système local 2. Donnez par défaut FS en tant que fichier: /// que vous pouvez exécuter la ruche en mode local avec l'installation de Hadoop

dans hive-site.xml xxx

3 commentaires

Mettez ces configurations à l'intérieur de votre hive-site.xml hive.meastore.schema.Verification.Vérification false hive.metastore .warehouse.dir Fichier: /// TMP fs.default.name Fichier: /// TMP

Pour être précis, cela signifie courir la ruche sans HDF à partir d'un cluster Hadoop, il a toujours besoin de bocaux de Hadoop-noyau dans CLASSPATH afin que Hive Server / CLI / Services puisse être démarré. BTW, hive.metastore.schema.Verification est à propos de la vérification du schéma métastore, il est facultatif pour cette réponse si vous avez une DB métastore avec schéma existant.

J'ai installé la ruche de la fondation Apache sans Hadoop. Parce que je vais quitter Hadoop depuis que sa nette est pas gratuite. Je voudrais utiliser la ruche métastore par Prestosql. Mais j'ai eu une erreur lorsque je lance la ruche Metastore: Impossible de déterminer les informations de version Hadoop. "Version Hadoop" renvoyée: Erreur: impossible d'exécuter /usr/bin/../libexec/hadoop-config.sh Une personne s'il vous plaît peut vous aider s'il vous plaît? Je suis ces liens moyenne.com/@binfan_alluxio/... et PRESTODB.IO/ Documents / actuels / Installation / Déploiement.html

2
votes

Vous ne pouvez pas, il suffit de télécharger la ruche et exécutez: 

./bin/hiveserver2                                                                                                                                        
Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path

2 commentaires

Droite, j'ai exactement la même chose. Cependant, après le téléchargement / extrait Hadoop Core et la configuration $ Hadoop_Home , la ruche peut être lancée avec des HDF car il a besoin de métastore uniquement lorsqu'il intervient contre les données sur S3

Oui, vous avez raison, mais pour moi Hadoop! = HDFS, HDFS est un composant plus un composant, comme le fil /ez etc ...

0
votes

Bien que vous devez garder quelques détails que vous devez garder à l'esprit qu'il est complètement normal d'utiliser la ruche sans HDFS. Il y a quelques détails à garder à l'esprit.

  1. Comme quelques commentateurs mentionnés ci-dessus, vous aurez toujours besoin de fichiers .jar de Hadoop Common .
  2. à compter d'aujourd'hui (XII 2020), il est difficile d'exécuter une paire Hive / Hadoop3. Utilisez Stable Hadoop2 avec Hive2.
  3. Assurez-vous que les autorisations de POSIX sont correctement définies, de sorte que votre ruche locale peut accéder à l'entrepôt et à éventuellement la base de données Derby.
  4. Initialisez votre base de données par appel manuel à SCHEMATOOL

    Vous pouvez utiliser Site.xml Fichier pointant vers le système de fichiers POSIX local, mais vous pouvez également définir ces options dans hive_opts variable de l'environnement. J'ai couvert qu'avec des exemples d'erreurs que j'ai vues sur mon Blog Post

0 commentaires

Articles qui pourrait vous intéresser :

Ingérer des données IMS mainframe dans Hadoop
SQL pour ignorer la ligne maximale à condition
Hadoop-3.1.2: Datanode et Nodemanager s'arrêtent
Sqoop peut-il être utilisé pour effectuer des jointures sur l'IMPORT?