Streaming en direct (socket) - Comment synchroniser l'audio et la vidéo?

Je ne UDP. Cependant, il dépend de ce que vous voulez. UDP baissera paquets plutôt que d'attendre (TCP). Le compromis est de savoir si vous voulez un stable, mais parfois lent et coûteux, ou qui est efficace, mais parfois ne peut pas se livrer. Le choix est le vôtre en ce qui concerne la façon dont vous voulez la mettre en œuvre et comment vous l'utilisez.

J'ai écrit une application de chat vocale il y a un moment et TCP était hors de question, la multidiffusion UDP est vraiment la seule façon d'y aller si vous recherchez un flux de données à proximité de temps réel. Il y a deux problèmes principaux avec Streaming Stuff sur UDP:

1. les paquets abandonnés . Dans le cas de l'audio, c'est une solution assez facile. Habituellement, les paquets abandonnés ne feront pas une différence audible (les paquets sont décompressés individuellement). Cependant, lorsqu'il s'agit de la vidéo, surtout si la vidéo est comprimée (elle est généralement comprimée), déterminer un protocole de transfert approprié garantissant la robustesse du réseau est une tâche intimidante pour le moins, surtout si vous faites cela à partir de zéro. Les cadres vidéo sont divisés dans divers paquets. Déterminer quoi faire lorsque ces paquets sont manquants est difficile.
2. Synchronisation entre l'audio et la vidéo . C'est un problème très difficile et je suggère de lire des protocoles tels que le RTSP (protocole de streaming en temps réel). Ce n'est pas une tâche facile, mais voici quelques informations d'introduction: http: //www.cs. Columbia.edu/~hgs/rtsp/ - Parfois, il est fait en envoyant des paquets de synchronisation distincts (certains protocoles envoient-ils sur TCP) qui indiquent au joueur comment le son doit correspondre à la vidéo.

Aujourd'hui Même YouTube Streams sur http ... Voici une application Nodejs qui diffuse un fichier sur le client de navigateur ... Utilisez-le comme point de départ pour la vidéo de flux en direct avec l'audio bien en synchronisation xxx