Je recherche la méthode la plus rapide et plus efficace consistant à détecter un objet dans une vidéo mobile. Choses à noter à propos de cette vidéo: il est très granuleux et basse résolution, également à la fois en arrière-plan et au premier plan en mouvement simultanément.
Remarque: j'essaie de détecter un camion en mouvement sur une route dans une vidéo en mouvement.
Méthodes que j'ai essayés:
Formation d'une cascade Haar - J'ai tenté de former les classificateurs pour identifier l'objet en prenant de multiples images de l'objet souhaité. Cela s'est révélé produire de nombreux faux détectes ou aucun détection du tout (l'objet souhaité n'a jamais été détecté). J'ai utilisé environ 100 images positives et 4000 négatifs.
TRI SIFT et SIFTYOPESTS - Lorsque vous essayez d'utiliser l'une de ces méthodes basée sur des fonctionnalités, j'ai découvert que l'objet que je voulais détecter était trop faible en résolution, il n'y avait donc pas assez de fonctionnalités pour correspondre à une détection précise . (Objet souhaité n'a jamais été détecté)
correspondance de modèle - c'est probablement la meilleure méthode que j'ai essayée. C'est le plus précis, bien que le plus hacky de tous. Je peux détecter l'objet pour une vidéo spécifique à l'aide d'un modèle recadré de la vidéo. Cependant, il n'y a pas de précision garantie car tout ce qui est connu est la meilleure correspondance pour chaque image, aucune analyse n'est effectuée sur le modèle de pourcentage correspond au cadre. Fondamentalement, cela ne fonctionne que si l'objet est toujours dans la vidéo, sinon elle créera une fausse détection.
Donc, ce sont les 3 grandes méthodes que j'ai essayées et toutes ont échoué. Ce qui fonctionnerait mieux est quelque chose comme un modèle correspondant, mais avec une invariance à l'échelle et à la rotation (qui m'a conduit à essayer SIFT / surf), mais je ne sais pas comment modifier la fonction de correspondance de modèle.
Quelqu'un a-t-il des suggestions comment mieux accomplir cette tâche?
5 Réponses :
Quelle est la résolution qui parle-t-on? Pourriez-vous aussi élaborer sur l'objet? Est-ce une couleur spécifique? At-il un modèle? Les réponses affectent ce que vous devriez utiliser.
En outre, je suis peut-être en train de lire votre déclaration de correspondance de modèle incorrecte, mais cela ressemble à vous le surentraîner (en testant la même vidéo que vous avez extrait l'objet de ??).
La résolution est 720x480, mais la qualité de la vidéo est très mauvaise. La vidéo est très pixelle à cette résolution. En ce qui concerne le modèle correspondant, je ne sais rien. J'utilise simplement un objet recadré de la vidéo et je viens de chercher dans chaque cadre.
Eh bien, vous l'entraînez, juste sur un ensemble de données. Le modèle correspondra bien si l'éclairage et l'orientation de l'objet changent à peine. Le moment qui fait, la précision va vraiment tomber. Encore une fois, utilisez toutes les indices que vous pouvez - esp. couleur si c'est là.
Une cascade Haar va nécessiter des données de formation importantes de votre part et sera médiocre pour tout ajustement de l'orientation.
Votre meilleur pari pourrait être de combiner des modèles correspondant à un algorithme similaire à camshift OpenCV (5,7 Mo pdf) , avec un modèle probabiliste (vous devrez comprendre celui-ci) de savoir si le camion est toujours dans l'image.
Ce papier de détection de véhicule utilise un La technique semble bien fonctionner et est au moins une échelle invariante. Je ne suis pas sûr de la rotation cependant.
Ne pas connaître votre application, ma première impression est Corrélation croisée normalisée , surtout depuis que je me souviens de voir un corrélateur croisé purement optique qui avait suivi des véhicules comme exemple de l'application. (Suivi d'un véhicule car il passe uniquement en utilisant uniquement des composants optiques et une image du côté du véhicule - j'aimerais pouvoir trouver le lien.) Ceci est similaire (si non identique) à "Modèle correspondant", que vous dites genre de travaux , mais cela ne fonctionnera pas si les images sont tournées, comme vous le savez.
Cependant, il y a un Méthode associée basée sur les coordonnées de log-polar qui fonctionnera quelle que soit la rotation, l'échelle, le cisaillement et la traduction.
J'imagine que cela permettrait également de suivre que l'objet a laissé la scène de la vidéo, car la corrélation maximale diminuera.
Appliquer flux optique à l'image, puis segmentez-le basé sur le champ d'écoulement. L'écoulement d'arrière-plan est très différent de l'écoulement "objet" (qui diverge principalement ou converge selon qu'il se déplace vers ou loin de vous, avec un élément latéral également).
Voici un projet ancien qui a fonctionné de cette façon:
Comment est axé le camion? Sa forme / orientation change-t-elle? La caméra change-t-elle la position? Est-ce une vidéo ponctuelle ou un système qui doit fonctionner dans de nombreuses conditions différentes?
Je suis d'accord avec Endolith, il est crucial que vous définissez le problème avec plus de détails. Le choix de la méthode affectera la robustesse.
La vue du camion à ses côtés et il bouge horizontalement. La forme du véhicule ne change pas beaucoup, c'est pourquoi le modèle correspondant à la correspondance, mais je veux toujours que ma méthode soit robuste. Fondamentalement, les casseroles de la caméra sont parties et à droite, suivant quelques véhicules différents, avec quelques autres véhicules passés à l'arrière-plan. Essentiellement, je veux que cela fonctionne dans plus de situations qu'on (mais traitant principalement avec une vidéo de qualité similaire). Le moins que je veux accomplir est un détecteur d'objets en mouvement dans une vidéo mobile.
Pouvez-vous poster un exemple de cadre de votre vidéo?