Comment supprimer les doublons dans mongodb en fonction de plusieurs champs?

Je ne suis pas sûr de mongo mais en utilisant le nœud, vous pouvez supprimer les doublons. J'ai essayé cette méthode pour l'une des exigences qui fonctionnait bien. Veuillez essayer ceci en changeant car vous avez besoin de noms de var.

function arrUnique(arr) {
    var cleaned = [];
    arr.forEach(function(itm) {
        var unique = true;
        cleaned.forEach(function(itm2) {
            if (_.isEqual(itm, itm2)) unique = false;
        });
        if (unique)  cleaned.push(itm);
    });
    return cleaned;
}

var newField = arrUnique(newField);

Le faire nativement dans node semblait faire l'affaire (probablement pas le moyen le plus rapide ou le plus efficace mais le suivant a fonctionné):

const array = await db.collection(collectionName).find({}).toArray();
const newArr = array.map((item) => {
  const newObj = Object.assign({}, item, {
    hiWorld: `${item.name}${item.amount}`,
  });
  return newObj;
});
var uniqueItems = [];
var duplicateIds = [];
newArr.forEach((item) => {
  if (uniqueItems.includes(item.hiWorld)) {
    duplicateIds.push(item._id);
  } else {
    uniqueItems.push(item.hiWorld);
  }
});

await db.collection(collectionName).deleteMany({ _id: { $in: duplicateIds } });

Vous pouvez le faire de deux manières

1. Dans un appel DB: Utilisation de l'opérateur d'agrégation $ out , vous pouvez peut-être aussi utiliser $ merge mais ce n'est pas très utile pour votre cas.
2. En deux appels à la base de données: Comme si vous pensez que $ out est destructif et que des millions de documents en collection peuvent être un problème dans l'environnement de production, vous pouvez d'abord lire tous les _id des documents à supprimer et utiliser . deleteMany () pour supprimer tous les documents à la fois. (Vous pouvez utiliser n'importe quel identifiant unique sur un document au lieu de _id mais j'ai utilisé _id car il est indexé par défaut - ce qui peut aider à exécuter deleteMany () plus rapide).

Étape 1:

Utilisation de $ out - Donc, comme je l'ai dit, c'est destructif car il remplacera l'ensemble collection si le nom d'entrée correspond ou créera une nouvelle collection par le résultat de votre requête d'agrégation. Donc, testez très bien votre requête d'agrégation avant d'utiliser $ out comme dernière étape. Écrivez également des données dans la collection temporaire et renommez les collections une fois que tout est assez bon. Considérez un temps d'arrêt lors du changement de nom des collections

Requête:

db.collection.deleteMany( { "_id" : {$in : [_ids]} } );

Test: mongoplayground

Étape 2:

1. À l'aide d'une requête d'agrégation, vous obtiendrez la liste des _ids à supprimer de la collection.

Requête:

db.collection.aggregate([
    /**
     * Group on matching docs :
     * { name: "duplicate", value: false}, 
     * { name: "duplicate", value: true}, 
     * { name: "duplicate-yes", value: true},
     * { name: "notDuplicate", value: true} 
     * */
    {
      $group: {
        _id: { name: "$name", value: "$value" },
        _idsNeedsToBeDeleted: { $push: "$$ROOT._id" } // push all `_id`'s to an array
      }
    },
    /** Remove first element - which is removing a doc */
    {
      $project: {
        _id: 0,
        _idsNeedsToBeDeleted: { $slice: [ "$_idsNeedsToBeDeleted", 1, { $size: "$_idsNeedsToBeDeleted" } ] }
      }
    },
    {
      $unwind: "$_idsNeedsToBeDeleted" // Unwind `_idsNeedsToBeDeleted`
    },
    /** Group without a condition & push all `_idsNeedsToBeDeleted` fields to an array */
    {
      $group: { _id: "", _idsNeedsToBeDeleted: { $push: "$_idsNeedsToBeDeleted" } }
    },
    {$project : { _id : 0 }} // Optional stage
     /** At the end you'll have an [{ _idsNeedsToBeDeleted: [_ids] }] or [] */
  ])

Test: mongoplayground

2. Maintenant en utilisant .deleteMany () - supprimez tous les documents:

Requête:

db.collection.aggregate([
  {
    $group: { _id: { name: "$name", value: "$value" },
      doc: { $last: "$$ROOT" } // Retrieve only last doc in a group
    }
  },
  {
    $replaceRoot: { newRoot: "$doc" } // replace doc as object as new root of document
  },
  { $out : 'collection_new' } // Test above aggregation & then use this 
])

Considération avant .deleteMany () , vous devez vérifier l'agrégation Le résultat n'est pas un tableau vide [] et a un document avec le champ _idsNeedsToBeDeleted qui est un tableau. De plus, comme nous comparons avec _id dans la base de données - le tableau des agrégations _idsNeedsToBeDeleted sera un tableau de chaînes - Donc, itérer sur le tableau, convertir la chaîne en ObjectId () & utiliser ce tableau de ObjectId () dans la requête de suppression.

Remarque:

Indépendamment de ce étape que vous choisissez - Puisque nous regroupons sur nom + valeur , vous devez vous assurer que tous vos documents contiennent ces champs.