Dev Faq

Questions et réponses pour le hadoop :

Hadoop is an Apache open-source project that provides software for reliable and scalable distributed computing. The core consists of a distributed file system (HDFS) and a resource manager (YARN). Various other open-source projects, such as Apache Hive use Apache Hadoop as persistence layer.

2
votes

Quelle est la différence entre Hadoop fs et les commandes Unix classiques?

Je suis nouveau sur Hadoop et HDFS, j'essaie de voir pourquoi les commandes Hadoop fs sont nécessaires par rapport à l'utilisation des équivalents de commande Unix. Ils semble ...
2 commentaire(s)
2
votes

Impossible de se connecter de Spark à S3 - Code d'état AmazonS3Exception: 400

J'essaie de me connecter depuis Spark (fonctionnant sur mon PC) à mon compartiment S3: sc.hadoopConfiguration.set("fs.s3a.endpoint", "s3.eu-central-1.amazonaws.com") Mais j'o ...
1 commentaire(s)
2
votes

comment filtrer les champs booléens dans spark dataframe?

J'ai trois colonnes dans mon bloc de données. Dans ce deuxième et troisième sont des champs booléens. Je veux filtrer les valeurs qui sont vraies. J'ai essayé ce ...
0 commentaire(s)
1
votes

Comment insérer une valeur vide au lieu de NULL dans des colonnes autres que le type de données String dans Hive

J'ai une instruction de création comme CREATE TABLE temp_tbl (EmpId String, Salary int); Je voudrais insérer un identifiant d'employé ...
0 commentaire(s)