Des chercheurs du centre de recherche Inria Sophia Antipolis – Méditerranée, en collaboration avec Adobe et UC Berkeley, ont développé un algorithme qui permet de changer l’éclairage des photos et des vidéos artificiellement.
Grâce à l’apprentissage automatique (machine learning en anglais), les chercheurs ont développé une méthode qui permet de modifier les conditions d’éclairage d’une photo ou même d’une vidéo en quelques clics. Cette manipulation est rendue possible par l’utilisation d’un réseau de neurones entraîné sur des images de synthèse mais utilisable sur de vraies photos. Il devient donc possible de prendre une photo à midi et de la modifier automatiquement pour qu’elle semble avoir été prise au coucher du soleil.
Les premiers résultats de cette nouvelle méthode ont été présentés à la conférence SIGGRAPH de Los Angeles. SIGGRAPH (Special Interest Group on Computer GRAPHics and Interactive Techniques) est une conférence internationale majeure sur l’infographie : elle regroupe chaque année depuis 1974 un grand nombre d’acteurs industriels, artistiques et scientifiques de l’univers de l’image de synthèse, qu’il s’agisse de films d’animation, de création d’effets spéciaux, de jeux vidéo ou de logiciels permettant la modélisation 3D.
Pour Julien Philip de l’équipe GraphDeco d’Inria, cette méthode expérimentale, permet déjà d’obtenir des résultats impressionnants de réalisme. « Souvent les réseaux de neurones ne peuvent que traiter de petites images dont la qualité n’est pas suffisante pour la photo ou se concentrent sur des tâches plus bas niveau comme le débruitage. Ici le contrôle de l’éclairage est redonné aux utilisateurs, ce sont eux qui décident si la photo finale semblera être prise le matin, à midi ou le soir. En fait, les utilisateurs peuvent laisser s’exprimer toute leur créativité et imaginer des éclairages totalement irréalistes. »
Une seule photo n’est pas suffisante pour obtenir un résultat convaincant. Il faut utiliser d’autres images du même lieu pour estimer la 3D de celui-ci et guider le changement d’éclairage. Ces multiples vues peuvent être obtenues en enregistrant une vidéo, en prenant plusieurs photos sur place, ou même en les récupérant automatiquement sur Internet.
Figure 1: Une photo de Manarola prise en milieu de journée. © Inria
Figure 2: La même image éditée grâce à la méthode développée chez
Inria. © Inria
Changer l’éclairage des photos, l’algorithme peut générer un effet « time-lapse » de manière artificielle
Une seule photo n’est suffisante pour obtenir un résultat convaincant, il faut utiliser d’autres images du même lieu pour estimer la 3D de celui-ci et guider le changement d’éclairage. Ces multiples vues peuvent être obtenues en enregistrant une vidéo, en prenant plusieurs photos en se déplaçant, ou même en utilisant d’autres photos du même lieu récupérées automatiquement sur Internet.
L’algorithme peut alors être utilisé pour générer un effet « time-lapse ». La méthode peut également être adaptée aux pipelines multivues traditionnels tels que le « rendu à base d’images (IBR) » ou la photogrammétrie notamment utilisée dans le milieu des effets spéciaux, ce qui ouvre la voie à des applications industrielles dans l’avenir.
Figure 3: Une photo de l’Abbaye de Saint-Guilhem-Le-Désert – Crédit photo Julien Philip
Produire une modification réaliste des ombres portées est un défi majeur lorsque l’on cherche à réaliser un changement d’éclairage. Les chercheurs guident leur algorithme en utilisant la 3D et en appliquant des méthodes utilisées dans les jeux vidéo pour le calcul des ombres. Le principal défi est d’obtenir une bonne vue 3D, c’est là qu’intervient le réseau de neurones qui va apprendre à changer l’éclairage de manière réaliste malgré un rendu 3D parcellaire.
Changer l’éclairage des photos, pour plus de détails consultez le lien.
Continuez l’aventure : Suggestions d’articles à ne pas rater !
7 secondes pour authentifier une photo : révolution blockchain avec Click
À l’ère numérique où la frontière entre vérité et authenticité devient floue, une innovation émerge : une application révolutionnaire propulsée…
Google Photos affiche désormais chaque retouche IA avec un marqueur dédié
Innover et surprendre, c’est le credo de Google Photos qui s’apprête à déployer une nouvelle fonctionnalité pour plus de transparence.…