Le cluster Databricks n'initialise pas la bibliothèque Azure avec l'erreur: le module 'lib' n'a pas d'attribut 'SSL_ST_INIT'

J'utilise le bloc-notes Azure DataBricks avec la bibliothèque Azure pour obtenir la liste des fichiers dans le stockage Blob. Cette tâche est planifiée et le cluster est arrêté une fois le travail terminé et redémarré avec une nouvelle exécution.

J'utilise la bibliothèque Azure 4.0.0 ( https://pypi.org/project/azure/ )

Parfois, je reçois un message d'erreur:

• AttributeError: le module 'lib' n'a pas d'attribut 'SSL_ST_INIT'

et très rarement aussi:

• AttributeError: la bibliothèque cffi '_openssl' n'a pas de fonction, de constante ou variable globale nommée "CRYPTOGRAPHY_PACKAGE_VERSION"

J'ai trouvé une solution en désinstallant openssl ou azure library, redémarrez le cluster et réinstallez-le, mais le redémarrage du cluster peut ne pas être possible car il peut avoir besoin de gérer des tâches plus longues, etc.

J'ai également essayé d'installer / mettre à niveau openSSL 16.2.0 dans le script d'initialisation, mais cela n'aide pas et commence à entrer en conflit avec une autre bibliothèque openSSL qui est dans le cluster Databricks par défaut

Y a-t-il une option que je peux faire avec?

Il y a le code pour obtenir la liste des fichiers de Blob Storage:

import pandas as pd
import re
import os
from pyspark.sql.types import *
import azure
from azure.storage.blob import BlockBlobService
import datetime
import time

r = []
marker = None
blobService = BlockBlobService(accountName,accountKey)
while True:
  result = blobService.list_blobs(sourceStorageContainer, prefix = inputFolder, marker=marker)
  for b in result.items:
    r.append(b.name)
  if result.next_marker:
    marker = result.next_marker
  else:
    break
print(r)

Merci