Intelligent pattern recognition techniques for photo-realistic 3D modeling of urban planning objects

• Main Author: Tsenoglou, Theocharis
• Other Authors: Limoges
• Language: en
• Published: 2014
• Subjects: La Reconnaissance de formes; Transformée de Hough; Extraction de lignes à partir des tableaux de régions rectangulaires; Reconstruction des bâtiments en 3D; Fusion de données; Pattern Recognition; Hough Transform; Line extraction from arrays of rectangular regions; 3D Building Reconstruction; Data Fusion; 006.4
• Online Access: http://www.theses.fr/2014LIMO0075

Modélisation 3D réaliste des bâtiments et d'autres objets de planification urbaine est un domaine de recherche actif dans le domaine de la modélisation 3D de la ville, la documentation du patrimoine, tourisme virtuel, la planification urbaine, la conception architecturale et les jeux d'ordinateur. La création de ces modèles, très souvent, nécessite la fusion des données provenant de diverses sources telles que les images optiques et de numérisation de nuages ​​de points laser. Pour imiter de façon aussi réaliste que possible les mises en page, les activités et les fonctionnalités d'un environnement du monde réel, ces modèles doivent atteindre de haute qualité et la précision de photo-réaliste en termes de la texture de surface (par exemple pierre ou de brique des murs) et de la morphologie (par exemple, les fenêtres et les portes) des objets réels. Rendu à base d'images est une alternative pour répondre à ces exigences. Il utilise des photos, prises soit au niveau du sol ou de l'air, à ajouter de la texture au modèle 3D ajoutant ainsi photo-réalisme.Pour revêtement de texture pleine de grandes façades des modèles de blocs 3D, des images qui dépeignent la même façade doivent être correctement combinée et correctement aligné avec le côté du bloc. Les photos doivent être fusionnés de manière appropriée afin que le résultat ne présente pas de discontinuités, de brusques variations de l'éclairage ou des lacunes. Parce que ces images ont été prises, en général, dans différentes conditions de visualisation (angles de vision, des facteurs de zoom, etc.) ils sont sous différentes distorsions de perspective, mise à l'échelle, de luminosité, de contraste et de couleur nuances, ils doivent être corrigés ou ajustés. Ce processus nécessite l'extraction de caractéristiques clés de leur contenu visuel d'images.Le but du travail proposé est de développer des méthodes basées sur la vision par ordinateur et les techniques de reconnaissance des formes, afin d'aider ce processus. En particulier, nous proposons une méthode pour extraire les lignes implicites à partir d'images de mauvaise qualité des bâtiments, y compris les vues de nuit où seules quelques fenêtres éclairées sont visibles, afin de préciser des faisceaux de lignes parallèles 3D et leurs points de fuite correspondants. Puis, sur la base de ces informations, on peut parvenir à une meilleure fusion des images et un meilleur alignement des images aux façades de blocs. === Realistic 3D modeling of buildings and other urban planning objects is an active research area in the field of 3D city modeling, heritage documentation, virtual touring, urban planning, architectural design and computer gaming. The creation of such models, very often, requires merging of data from diverse sources such as optical images and laser scan point clouds. To imitate as realistically as possible the layouts, activities and functionalities of a real-world environment, these models need to attain high photo-realistic quality and accuracy in terms of the surface texture (e.g. stone or brick walls) and morphology (e.g. windows and doors) of the actual objects. Image-based rendering is an alternative for meeting these requirements. It uses photos, taken either from ground level or from the air, to add texture to the 3D model thus adding photo-realism. For full texture covering of large facades of 3D block models, images picturing the same façade need to be properly combined and correctly aligned with the side of the block. The pictures need to be merged appropriately so that the result does not present discontinuities, abrupt variations in lighting or gaps. Because these images were taken, in general, under various viewing conditions (viewing angles, zoom factors etc) they are under different perspective distortions, scaling, brightness, contrast and color shadings, they need to be corrected or adjusted. This process requires the extraction of key features from their visual content of images. The aim of the proposed work is to develop methods based on computer vision and pattern recognition techniques in order to assist this process. In particular, we propose a method for extracting implicit lines from poor quality images of buildings, including night views where only some lit windows are visible, in order to specify bundles of 3D parallel lines and their corresponding vanishing points. Then, based on this information, one can achieve better merging of the images and better alignment of the images to the block façades. Another important application dealt in this thesis is that of 3D modeling. We propose an edge preserving interpolation, based on the mean shift algorithm, that operates jointly on the optical and the elevation data. It succeeds in increasing the resolution of the elevation data (LiDAR) while improving the quality (i.e. straightness) of their edges. At the same time, the color homogeneity of the corresponding imagery is also improved. The reduction of color artifacts in the optical data and the improvement in the spatial resolution of elevation data results in more accurate 3D building models. Finally, in the problem of building detection, the application of the proposed mean shift-based edge preserving smoothing for increasing the quality of aerial/color images improves the performance of binary building vs non-building pixel classification.