Recherche de milliers de fichiers dans un répertoire à l'aide d'une liste CSV

Essayez :

$(Get-ChildItem -path $source -Recurse -File -Filter *.xml
  Get-ChildItem -path $source -Recurse -File -Filter *.pdf)

Au lieu de boucler les fichiers, filtrez-les.

Modifié pour utiliser ".pdf.metadata.properties.xml" au lieu de XML, et corrigez ceux-ci en envoyant ".pdf.metadata.properties" du "Basename" des fichiers que nous avons trouvés

modifier

Ajoutez également plus de votre script pour réduire le temps nécessaire au processus de copie, en générant une liste de fichiers de destination puis filtrer les fichiers que nous copierons par fi

$Exts =@('.pdf','.pdf.metadata.properties.xml')

$source = 'C:\Temp\CSVtoXML'
$destination = 'C:\Temp\FindFiles\'                                                           #' 
$strGetDate = get-date -UFormat “%Y-%m-%d %H:%M:%S”
$log = "$($destination)FileCopyLog.txt"

$SiebelIDFile="$($destination)test.csv"
$SiebelIDImport = import-csv $SiebelIDFile -Delimiter "," -Header 'siebelId', 'companyCode', 'receivedDate'

$SRC_Matched_Exts = $(  $Exts | % { Get-ChildItem -path $source -Recurse -File -Filter $_  } )


# Presto we can filter the list using the Siebel IDs


$Results = $SRC_Matched_Exts | ? { $( $($_.basename) -replace '.pdf.metadata.properties','' ) -in $($SiebelIDImport.SiebelID) }

# Confirm results by outputting first 1000
$Results | select -first 100 | FT -property BaseName, FullName -Auto 

# Get Destination Files to compare:
$Dst_Matched_Exts = $(  $Exts | % { Get-ChildItem -path $Destiation -Recurse -File -Filter $_  } )

# Filter to only the Source files notin the destination:
$Src_Files_MissingFromDst = $Results | ? { $_.basename -notin $( $Dst_Matched_Exts.basename ) }
$Src_Files_AlreadyInDs = $Results | ? { $_.basename -notin $Src_Files_MissingFromDst.basename }


# Output some of the Files we won't Copy because they already exist in dst:
Write-host "
 Output some of the Files we won't Copy because they already exist in dst:

$($Src_Files_AlreadyInDst | select -first 100 | FT -property BaseName, FullName -Auto | Out-String)" -ForegroundColor red

# Output some of the Files we will Copy:
Write-host "
 Output some of the Files we will Copy:

$Src_Files_MissingFromDst | select -first 100 | FT -property BaseName, FullName -Auto | Out-String )" -ForegroundColor yellow

$Count=0
# Loop Files and Copy them to Destination:
$Src_Files_MissingFromDst | %{
  $Count+=1
  copy-item $($_.Fullname) -destination $destination   # Copies files
  Add-Content -Path $log -Value "$(Get-Date -UFormat `"%Y-%m-%d %H:%M:%S`")`: Source File # $Count: [$($file)] Destination: $Destination"
  # Update the copy progress every 10 files
  IF ( ! [bool]( $Count % 10 ) -or $Count -eq $($Src_Files_MissingFromDst.count)  ) {
    Write-Progress -Activity "======== Copying to $Destination" -Status "## $([math]::round( $(($Count/$($Src_Files_MissingFromDst.count))*100), 1))% Complete!" -PercentComplete $([math]::round( $(($Count/$($Src_Files_MissingFromDst.count))*100), 1))
    write-host "File # $Count: [ $file ] has Been Copied to  $Destination " -ForegroundColor Green
  }

}

vous pouvez maintenant écrire votre copie / déplacement de fichier en fonction de la collection de fichiers correspondants - et il serait logique d'utiliser un processus parallèle pour accélérer cela.

Les boucles sont toujours plus lentes que le filtrage par des instructions de sélection, l'utilisation du filtre en ligne sur la commande est presque toujours un meilleur chemin que le filtrage des résultats car le filtrage se produit au niveau du niveau inférieur lors de la collecte des données.

Comme le siebelID semble avoir 8 chiffres, vous pouvez l'utiliser pour sélectionner des fichiers.

Je ne suis pas sûr de ce qui est le plus efficace:

• explorer l'arborescence deux fois (pour chaque extension) ou
• une seule fois en utilisant un objet Where et une expression régulière qui en une seule fois extrait le numéro et vérifie la présence dans $Filelist

La sortie doit être réduite au strict nécessaire pour accélérer le traitement.

Le script suivant supprime également la redondance lors de la création de $LogValue

Une version légèrement adaptée pour rechercher dans mon dossier de test avec des scripts SO stockés qui ont également un numéro à 8 chiffres donne ce FileCopyLog.txt