Contributions to the segmentation of moving objects in video sequences

Abstract

Developing robust and universal methods for unsupervised segmentation of moving objects in video sequences has proved to be a hard and challenging task. State-of-the-art methods show good performance in a wide range of situations but none has been able to fully deal with complex and challenging scenarios that include poor lighting conditions, sudden illumination changes, shadows and parasitic background motion. There are several approaches for segmenting foreground from background. Recent research has shown that methods appear to be complementary in nature, with the best-performing methods being beaten by combining several of them. In this PhD work we want to further explore some of the most efficient and widely used approaches (such as GMM), alone or in combination with new techniques, to propose more robust algorithms. The experiments for this research will be conducted on the complete set of videos provided in the CDnet 2014 Dataset, consisting of 53 videos depicting indoor and outdoor scenes captured in different scenarios and with different cameras, containing a wide range of different challenges. Testing and evaluation will be performed using the ground truth segmentation provided along with the videos. This approach aims at producing repeatable experiments that may contribute to the consistent development of the state-of-the-art in this domain.

El desarrollo de métodos robustos y universales para la segmentación no supervisado de objetos en movimiento en secuencias de vídeo ha demostrado ser una tarea difícil y desafiante. El estado actual de la técnica en estos métodos muestra un buen rendimiento en una amplia gama de situaciones, pero ninguno ha sido capaz de hacer frente plenamente con escenarios complejos y desafiantes que incluyen malas condiciones de iluminación, cambios bruscos de iluminación, sombras y movimiento aparente por ruido de fondo. Existen varios enfoques para la segmentación de primer plano respecto al fondo. Investigaciones recientes han demostrado que los métodos parecen ser de naturaleza complementaria, siendo los métodos de mejor desempeño superados por la combinación de varios de ellos. En este trabajo de doctorado queremos explorar más a fondo algunos de los enfoques más eficientes y ampliamente utilizados (como GMM), solo o en combinación con las nuevas técnicas, y proponer algoritmos más robustos. Los experimentos de esta investigación se llevarán a cabo en el conjunto completo de vídeos puestos a disposición pública bajo el nombre CDNet 2014, que consta de 53 vídeos con escenas interiores y exteriores capturados en diferentes escenarios y con diferentes cámaras, que contiene una amplia gama de desafíos diferentes. Las pruebas y la evaluación se realizarán mediante la segmentación “ground truth” suministrada junto con los videos. Este enfoque tiene como objetivo la producción de experimentos repetibles que pueden contribuir al desarrollo coherente del estado de la técnica en este campo.

O desenvolvemento de métodos robustos e universais á segmentación non supervisada de obxectos en movemento en secuencias de vídeo demostrou ser unha tarefa difícil e un reto. Los métodos estado-da-arte mostran bo rendemento nunha ampla gama de situacións, pero ningún foi capaz de xestionar plenamente os escenarios complexos e desafiantes que inclúen malas condicións de iluminación, cambios bruscos de iluminación, sombras e movemento aparecnte por ruido de fondo. Existen varias propostas para a segmentación do primeiro plano respecto ao fondo. Investigacións recentes mostran que os métodos parecen ser de natureza complementaria, csendo os métodos de mellor rendemento aillados superados pola combinación de varios deles. Neste traballo de doutoramento queremos explorar algunhas das propostas máis eficientes e amplamente utilizadas (como GMM), só ou en combinación coas novas técnicas, e propoñer algoritmos máis robustos. Os experimentos para esta investigación serán contrastados no conxunto completo de vídeos postos a disposición pública co nome CDnet 2014, composta por 53 vídeos con escenas interiores e exteriores capturados en diferentes escenarios e con diferentes cámaras, que contén unha gran variedade de diferentes retos. O exame e avaliación realizarase mediante a segmentación “ground truth” proporcionada xunto cos vídeos. Esta visión ten como obxectivo producir experimentos repetíveis que poden contribuír ao desenvolvemento coherente do estado-da-arte neste ámbito.