Quelqu'un sait-il quelle connexion et quel composant de flux de données utiliser pour ADLS (Azure Data Lake Store) gen2?
J'ai réussi à utiliser le connecteur blob dans le gestionnaire de connexions et à me connecter avec succès à ADLS Gen2, mais lorsque j'essaye d'utiliser le composant source blob, j'obtiens une mauvaise requête 400. Fonctionne bien s'il ne s'agit que d'un stockage d'objets blob sans HNS.
Les composants ADLS indiquent que c'est juste pour ADLS gen 1.
Alors, comment lire et écrire vers / depuis ADLS Gen 2?
5 Réponses :
Tout d'abord, basé sur le excellent lien fourni par @rickvdbosch il semble qu'il existe de nombreuses limitations temporaires avec Azure Data Lake Storage Gen2 concernant l'API de stockage BLOB. Ce qui signifie qu'il ne s'agit pas d'une limitation de composant et que vous devriez peut-être attendre qu'il soit intégré à SSIS.
Si vous parliez de ces composants lorsque vous avez mentionné cela:
Les composants ADLS indiquent que c'est juste pour ADLS gen 1.
<₹ Alors ignorez cette partie.
Je ne suis pas sûr qu'il prend en charge Gen2, mais je pense que vous pouvez utiliser les composants Azure Data Lake Store qui font partie du pack de fonctionnalités Microsoft SQL SERVER pour Azure . Pour plus d'informations, vous pouvez vous référer à:
Lien de téléchargement
Si la suggestion ci-dessus ne fonctionne pas, vous devez utiliser Azure Data Factory ou une ligne de commande par Installation de l'AWS CLI et de en utilisant AzCopy v10
J'ai les informations suivantes: "Pour le moment, la génération 2 ne prend pas en charge l'API BLOB (mais ce sera le cas dans peu de temps) et par conséquent, SSIS ne peut pas se connecter."
Donc, pour SSIS, il s'agit actuellement soit d'ADLS Gen 1, soit d'un magasin d'objets blob
J'ai utilisé la tâche de script pour écrire des fichiers ou des objets System.Objects (convertis en csv en mémoire) dans Azure Storage Gen 2 (Hierarchical Namespace Enabled) à l'aide de l'API Rest. Je l'ai fait en tant que démonstration jusqu'à ce que les composants SSIS soient publiés.
Vous ne pouvez pas écrire dans ADLS Gen2 en utilisant les anciens composants d'Azure Feature Pack, mais vous pouvez vous connecter au blob Gen2 (non hiérarchique) à l'aide du composant de destination Azure Blob.
Il est très important le commentaire «non hiérarchique». Malheureusement, il s'agit d'un gros défaut car l'espace de noms hiérarchique est extrêmement utile dans les applications à l'échelle de l'entreprise. Je me demande quand ils vont également soutenir cela
Une version actuelle de SSIS Azure Feature Pack prend en charge ADLS Gen2. Il peut être utilisé comme source ou destination de données dans le flux de données:
La capture d'écran est de l'afficher comme une destination, mais ADLSgen2 fonctionne bien aussi comme source via les "Destination de fichier flexible" et "Source de fichier flexible" correspondantes
Mise à jour utile @AlexanderVolok. Il n'y a pas eu beaucoup de fanfare sur cette version du pack de fonctionnalités, ils poussent peut-être plus Azure Data Factory Gen 2 maintenant.
Merci, ils le font, en faisant de petits et modestes pas. Ce qui est disponible pour ADLS gen2 est: les sources de données, les destinations, la copie de fichier et pour chaque itérateur d'élément
"Les API de stockage Blob ne sont pas encore disponibles pour les comptes Azure Data Lake Storage Gen2." Source: Problèmes connus avec Azure Data Lake Stockage Gen2 . Il est préférable de Copier les ou depuis Azure Data Lake Storage Gen2 à l'aide d'Azure Data Factory