| Summary: | Specularity is a very common phenomenon in the real world and confounds many computer vision tasks such as stereo. The first purpose of this thesis is to design a real-time algorithm of specularity detection. After that, with the knowledge of where the specularities are, a stereo correspondence approach robust to specularity is proposed. Finally, a specularity recovery method is presented to recover the underlying diffuse color using the stereo correspondence information. For real-time specularity detection, a new concept of unnormalized Wiener entropy (UW Entropy) is first proposed in this thesis, which has the desirably simple final form and requires no information about the lighting condition, surface structure, imaging process, pre-segmentation, polarization state, and so forth. However, like other specularity detection methods based on color alone, some false positives may be detected. To distinguish between genuine specularities and false positives, a Support Vector Machine is learned in the proposed SpecLBP space as well as three other spaces as comparisons. An alternative version is also presented for the beam-splitter based stereo pairs in the 3D movie industry, where the curse of side-effect of the beamsplitter is turned into a blessing for identifying problematic specularities. After the genuine specularities are spotted, a new specularity-invariant stereo correspondence method is proposed. By constructing an UW Entropy based matching energy and minimizing it in the MAP-MRF framework using graph cuts, a disparity map robust to specularities can be gained, which offers a precious piece of information for specularity recovery in the ending part of this thesis. Experiment results show our methodology's efficacy in real-time specularity detection, specularity-invariant stereo correspondence, as well as specularity recovery and demonstrate our methodolodgy's great potential for the 3D movie industry. By comparing the performance of the proposed SpecLBP code and three other LBP variants, the SpecLBP code's better performance justifies our claim that the best texture code is task specific, not the one that captures the most information. === La réflexion spéculaire est un phénomène fréquemment observé dans la nature. Et pourtant, ce type de réflexion pose encore problème à plusieurs algorithmes de vision artificielle telle que l'interprétation de l'imagerie stéréoscopique. Cette thèse a pour premier objectif de concevoir un algorithme temps réel capable de détecter les réflexions spéculaires. Par la suite, connaissant l'endroit où apparait ce phénomène dans l'image, une approche pour la correspondance stéréoscopique robuste aux réflexions spéculaires est proposée. Et enfin, une méthode de récupération de la couleur diffuse sous-jacente aux réflexions est présentée, en tirant profit de l'information acquise par la correspondance stéréo. Pour effectuer la détection des réflexions spéculaires en temps réel, un nouveau concept d'entropie de Weiner non normalisée (entropie UW) est d'abord proposé par cette thèse. L'entropie UW est caractérisée par une formulation analytique simple qui ne requière aucune information supplémentaire sur les conditions d'éclairage, la structure de la surface, la prise d'image, l'état de polarisation de la lumière, aucune présegmentation et ainsi de suite. Cependant, comme d'autres méthodes de détection des réflexions spéculaires basées seulement sur la couleur, de faux positifs peuvent être obtenus. Pour faire la distinction entre les réflexions spéculaires véritables et les faux positifs, un séparateur à vaste marge (SVM) est entrainé dans l'espace « SpecLBP » proposé, et également dans trois autres espaces de la littérature, à titre de comparaison. Une adaptation du système est également présentée pour traiter les paires d'images stéréo obtenues à l'aide d'un miroir semi-argenté, tel qu'utilisé dans l'industrie du film 3D, où les effets indésirables du miroir deviennent plutôt d'une aide précieuse pour localiser les réflexions problématiques. Pour faire suite à la détection des réflexions authentiques, une nouvelle méthode de correspondance stéréo robuste aux réflexions est proposée. En formulant l'entropie UW sous forme d'énergie, et en minimisant cette énergie dans le cadre d'un PAM-MRF (résolu en utilisant des coupes de graphes), une carte de disparité stéréoscopique robuste aux réflexions peut être acquise. Cette évaluation de la disparité en présence des réflexions est une information précieuse pour la récupération de la couleur qui est présentée dans la dernière partie de cette thèse.Les résultats expérimentaux obtenus démontrent l'efficacité des méthodes proposées pour la détection des réflexions spéculaires en temps réel, pour la correspondance stéréo en présence de réflexions, ainsi que pour la récupération de la couleur sous-jacente aux réflexions. Les expérimentations permettent également de démontrer le potentiel de cette méthode pour l'industrie du cinéma 3D. En comparant la performance de la représentation « SpecLBP » proposée et les trois autres variantes de LBP, la performance supérieure du code « SpecLBP » valide notre hypothèse selon laquelle une représentation de la texture est meilleure, lorsqu'adaptée à une tâche spécifique, et non lorsqu'elle capture un maximum d'informations.
|
|---|
