Fusionner deux fichiers CSV tout en ajoutant de nouvelles entrées et en écrasant les entrées existantes

Après de nombreuses recherches, j'ai pensé que le moyen le plus simple de manipuler les entrées sans recréer le cadre de gestion consistait à hashtable . Au cours du processus, j'ai dû tenir compte de deux cas extrêmes:

1. virgules supplémentaires dans les valeurs
2. valeurs vides

La solution finale que j'ai obtenue est la suivante:

$configuration = Import-Csv .\configuration.csv
$customization = Import-Csv .\customization.csv
$merged = New-Object System.Collections.ArrayList
$hashTable = @{}

#initializing the hashTable with the defaults
foreach ($entry in $configuration)
{
    $hashTable[$entry.path + ',' + $entry.item] = $entry.value + ',' + $entry.type
}

#updating the hashTable with customization that add or overwrite existing entries
foreach ($entry in $customization)
{
    $hashTable[$entry.path + ',' + $entry.item] = $entry.value + ',' + $entry.type
}

#the regex handles multiple commas and empty values.
#It returns an empty string before and after group so we start from 1 
foreach ($key in $hashTable.keys)
{
    $psobject = [PSCustomObject]@{
        path  = ($key -split '(.*),(.*)')[1]
        item  = ($key -split '(.*),(.*)')[2]
        value = ($hashTable[$key] -split '(.*),(.*)')[1]
        type  = ($hashTable[$key] -split '(.*),(.*)')[2]
    }
    [void] $merged.Add($psobject)
}
Write-Output $merged

Une fois importé, je transforme le configuration.csv en table de hachage avec des clés composé du chemin et de la valeur . Je fais ensuite de même avec customization.csv en utilisant le même hashTable qui écrase toutes les valeurs key existantes ou les ajoute comme nouvelles.

La troisième boucle convertit le hashTable à PSCustomObject similaire à ce que fait Import-Csv . J'ai divisé chacun des attributs key et value tout en tenant compte de plusieurs virgules et également de valeurs vides.
REMARQUE : l'expression régulière se divise à la dernière occurrence du séparateur (ici, c'est une virgule, mais vous pouvez sélectionner n'importe quoi, vraiment). Si vous souhaitez fractionner le premier, vous pouvez utiliser (. *?), (. *) . Dans mon cas, seule la colonne value pourrait contenir une instance du séparateur.

Si le CSV avait une colonne unique, alors une solution similaire à cette réponse aurait pu être utilisée.

Une autre alternative consiste à définir les clés comme la somme de toutes les colonnes, et cela filtrera tous les doublons dans le CSV, mais le fractionnement peut devenir délicat, en fonction des valeurs dans les colonnes.

Je suggère d'utiliser Compare-Object et comme les valeurs de customization.csv doivent persister, utilisez les valeurs de ces fichiers comme -ReferenceObject

> Q:\Test\2019\03\01\SO_54948111.ps1

path       item  value  type
----       ----  -----  ----
some/path  item2 value3 ALL
some/path  item1 value1 ALL
other/path item1 value2 SOME
new/path   item3 value3 SOME

Exemple de sortie

## Q:\Test\2019\03\01\SO_54948111.ps1

$conf = Import-Csv '.\configuration.csv'
$cust = Import-Csv '.\customization.csv'

$NewData = Compare-Object -ref $cust -diff $conf -Property path,item -PassThru -IncludeEqual|
    Select-Object -Property * -ExcludeProperty SideIndicator

$NewData
$NewData |Export-Csv '.\NewData.csv' -NoTypeInformation

Votre idée " utilisant le même hashTable qui écrase toutes les valeurs de clé existantes ou les ajoute comme nouvelles. " ne fonctionnera que si le chemin, élément est unique de chaque côté car vous écraserez également les doublons ... Considérez cette applet de commande Join-Object .

$ configuration = ConvertFrom-SourceTable '

$configuration | Merge $customization -on path, item

path       item  value  type
----       ----  -----  ----
some/path  item1 value1 ALL
some/path  item2 value3 ALL
other/path item1 value2 SOME
other/path item1 value3 ALL
new/path   item3 value3 SOME
new/path   item3 value4 ALL

$ customization = ConvertFrom-SourceTable '

| path       | item  | value  | type |
|------------|-------|--------|------|
| some/path  | item2 | value3 | ALL  |
| new/path   | item3 | value3 | SOME |
| new/path   | item3 | value4 | ALL  |
'

En utilisant le Merge-Object , alias Merge , commande proxy (voir aide):

| path       | item  | value  | type |
|------------|-------|--------|------|
| some/path  | item1 | value1 | ALL  |
| some/path  | item2 | UPDATE | ALL  |
| other/path | item1 | value2 | SOME |
| other/path | item1 | value3 | ALL  |
'