Reforming Pandas Dataframe (startdate, enddate) aux colonnes quotidiennes et horaires

cleandataHeader = ['device_id', 'year', 'month', 'day', 'dow', 'uptimeSec', 'downtimeSec']

def fragmentCollect(daystart, dayend, device):
    maskBigFrag = ((historicaldata['Device_id'] == device) & ((daystart < historicaldata['Start_date']) & (dayend > historicaldata['End_date'])))
    BigFragdf = historicaldata.loc[maskBigFrag]
    BigFragdf['fragment'] = (BigFragdf['End_date'] - BigFragdf['Start_date']).dt.total_seconds()

    maskSmallFrag = ((historicaldata['Device_id'] == device) & ((daystart > historicaldata['Start_date']) & (dayend < historicaldata['End_date'])))
    SmallFragdf = historicaldata.loc[maskSmallFrag]
    SmallFragdf['fragment'] = (dayend - daystart).total_seconds()
    SmallFragdf['Start_date'] = daystart.strftime('%Y-%m-%d 00:00:00')
    SmallFragdf['End_date'] = dayend.strftime('%Y-%m-%d 00:00:00')

    maskHeadFrag = ((historicaldata['Device_id'] == device) & ((daystart >= historicaldata['Start_date'] ) & (daystart < historicaldata['End_date'] ) & (dayend > historicaldata['End_date'] )))
    HeadFragdf = historicaldata.loc[maskHeadFrag]
    HeadFragdf['fragment'] = (HeadFragdf['End_date'] - daystart).dt.total_seconds()
    HeadFragdf['Start_date'] = daystart.strftime('%Y-%m-%d 00:00:00')

    maskTailFrag = ((historicaldata['Device_id'] == device) & ((daystart < historicaldata['Start_date'] ) & (dayend <= historicaldata['End_date'] ) & (dayend > historicaldata['Start_date'] )))
    TailFragdf = historicaldata.loc[maskTailFrag]
    TailFragdf['fragment'] = (dayend - TailFragdf['Start_date']).dt.total_seconds()
    TailFragdf['End_date'] = dayend.strftime('%Y-%m-%d 00:00:00')

    frames = [BigFragdf, SmallFragdf, HeadFragdf, TailFragdf]
    result = pd.concat(frames)
    result = result.drop_duplicates()
    return result

def rowClean(row):
    row['Player Name'] = row.name[1]
    row['year'] = row.name[0].year
    row['month'] = row.name[0].month
    row['day'] = row.name[0].day
    row['dow'] = row.name[0].day_name()
    result = fragmentCollect(row.name[0], row.name[0] + timedelta(days=1), row.name[1])
    result = result.to_dict('records')
    uptime = 0
    downtime = 0
    for frag in result:
        if frag['status'] == 'Online':
            uptime += frag['fragment']
        else:
            downtime += frag['fragment']
    row['uptimeSec'] = uptime 
    row['downtimeSec'] = downtime
    return row

def buildTheCleanData(start, end):
    datelist = [start + timedelta(days=x) for x in range((end-start).days + 1)]
    iterables = [datelist,['AUH888', 'SHJ656']
    Index = pd.MultiIndex.from_product(iterables, names=['date', 'Device_id'])
    s = pd.DataFrame(columns = cleandataHeader, index = Index)
    s = s.apply(rowClean, axis=1)
    return s

• La colonne d'état contient quatre statuts (en ligne, hors ligne, échec, lost_communication). LI>
• Chaque périphérique est des données d'état en streaming avec la date de début et de fin de chaque statut li>
• Chaque statut pourrait être une période de secondes, minutes, jours ou même mois, il sera donc difficile de visualiser les données quotidiennes ou horaires. Li>
• Je dois analyser le statut pour indiquer la disponibilité par statut quotidiennement et toutes les horaires pour détecter la fluctuation de statut si elle existe. LI>
• Mon objectif est de remodeler la date de la date à un nouveau Dataframe quotidien, comme suit: Li> ul> xxx pré>
  • Uptime >> Quand statut Online LI>
  • Downtime >> Lorsque le statut est (hors ligne, échec, perte_communication) li>
  • J'utilise le code suivant, mais c'est un peu lent. Li> ul> xxx pré>
    • Fonction FonctionCollect est mon algorithme pour collecter le fragment de statut pour chaque début, fin, périphérique passé. li>
    • Fonction Rowclean sera appliquée sur chaque ligne de la nouvelle Dataframe multiindex pour remplir les informations (UPTUMESEC, DOWNTIMESEC). LI>
    • Buildthecleandata Fonction utilisée pour construire le nouveau Dataframe de disponibilité propre par jour. Li>
    • Je peux appliquer le même concept si je veux un fichier de données propre de jour par heure. Li>
    • Comme vous pouvez le voir, mon code ci-dessus est très lent. li>
    • Je me demandais s'il y a une construction de Pandas qui traite de nombreuses situations similaires plus rapides. Li> ul> ul>