Object recognition in road and urban environments from massive datasets collected by mobile mapping sensors

Abstract

This thesis pursues the development of algorithms for detection and semantic characterization of elements of importance in traffic infrastructures of road and urban environments, using data from mobile mapping systems, and aiming at improving the automatic inventory of the mentioned infrastructures. These algorithms will analyse and process geomatic information (point clouds) and graphic information (imagery), and will try to find a symbiosis between them so drawbacks of one source of information can be balanced with the advantages of the other. Fulfillment of this objective implies the development of a strong knowledge base on machine learning techniques. The application of probabilistic models will be necessary to automatically classify different objects in clouds which contain millions of points. The already mentioned semantic characterization of urban objects will follow the indications of the international standard of representation, storage and exchange of 3D models of objects in urban contexts, CityGML. This standard is currently in a development stage, so new entities or extensions of the standard may be needed, and that is a topic of interest for researching, hence a possible objective for this thesis.

El objetivo principal de la tesis doctoral es el desarrollo de algoritmia de detección y caracterización semántica de elementos de importancia en las infraestructuras de tráfico en entornos urbanos y de carretera a partir de sistemas de mapeado móvil, con el fin de favorecer el inventariado automático de dichas infraestructuras. Estos algoritmos analizarán y procesarán por un lado información geomática (nubes de puntos) y por otro información gráfica (imágenes fotográficas), y tratarán de encontrar una simbiosis entre ambos tipos de información, donde una aporte sus ventajas a los inconvenientes de la otra. El cumplimiento de este objetivo implicará el desarrollo de una sólida base de conocimiento en lo que a técnicas de aprendizaje artificial se refiere, ya que será necesaria la correcta aplicación de modelos probabilísticos que permitan clasificar de forma automática distintos objetos en nubes que pueden constar de decenas de millones de puntos. La ya mencionada caracterización semántica de elementos urbanos seguirá las indicaciones del estándar internacional de representación, almacenamiento e intercambio de modelos 3D de objetos en contextos urbanos, CityGML. Debido a que el estándar se encuentra en una etapa de desarrollo, podrá surgir la necesidad de crear nuevas entidades o extensiones, hecho que también presenta interés desde el punto de vista de la investigación y es, por tanto, un objetivo a tener en cuenta en el desarrollo de la tesis.

O obxectivo principal da tesis é o desenvolvemento de algoritmia de detección e caracterización semántica de elementos de importancia nas infrastructuras de tráfico en ámbitos urbanos e de estradas a partires de sistemas de mapeado móbil, co fin de favorecer o inventariado automático de ditas infraestructuras. Estes algoritmos analizarán e procesarán por un lado información xeomática (nubes de puntos) e por outro información gráfica (imaxes fotográficas), e tratarán de atopar unha simbiosis entre ámbolos tipos de información, onde unha aporte as súas vantaxes ós inconvintes da outra. O cumplimento deste obxectivo implicará o desenvolvemento dunha sólida base de coñecemento no que a técnicas de aprendizaxe artificial se refire, xa que será necesaria a correcta aplicación de modelos probabilísticos que permitan clasificar de xeito automático distintos obxectos en nubes que poden constar de decenas de millóns de puntos. A xa mencionada caracterización semántica de elementos urbanos seguirá as indicacións do estándar internacional de representación, almacenamento e intercambio de modelos 3D de obxectos en contextos urbanos, CityGML. Debido a que o estándar atópase en etapa de desenvolvemento, poderá surxir a necesidade de crear novas entidades ou extensións, feito que tamén presenta interese dende o punto de vista da investigación que e é, polo tanto, un obxectivo a ter en conta no desenvolvemento da tese.