PARC DE L’UNIVERSITÉ, Pennsylvanie. — Elizabeth Mansfield, professeure et responsable du Département d’histoire de l’art, et James Wang, professeur émérite de sciences et technologies de l’information, ont reçu le Digital Humanities Advancement Grant (DHAG) du National Endowment for the Humanities (NEH) pour une phase 2 projet utilisant un ordinateur d’analyse d’image assistée pour examiner la représentation des nuages ​​dans les peintures de John Constable, un artiste européen du XIXe siècle réputé pour le naturalisme saisissant de ses paysages.

La subvention NEH de niveau 2 a été accordée pour soutenir « After Constable’s Clouds », un projet qui fait progresser la recherche en histoire de l’art grâce à des applications innovantes de vision par ordinateur (CV) et d’apprentissage automatique (ML).

Ce projet promet d’accroître la compréhension scientifique des concepts esthétiques et des techniques artistiques dans la peinture de paysage européenne du XIXe siècle, en particulier ceux qui répondent au mouvement réaliste. « After Constable’s Clouds » est la phase 2 de « Seeing Constable’s Clouds », soutenue par une subvention NEH de niveau 1.

« L’opportunité de s’engager dans des recherches collaboratives avec des pairs de renommée internationale dans les domaines de la science des données et de l’intelligence artificielle, de la météorologie et des humanités numériques est gratifiante », a déclaré Mansfield. « Je suis enthousiasmé par la perspective de tirer parti de nos résultats de la première phase du projet. »

Historique du projet

La première phase, « Voir le nuage policier », est motivée par une question d’histoire de l’art : l’incroyable réalisme du nuage policier est-il dû à l’empirisme emphatique de l’artiste ou est-il le résultat de sa technique de bravoure ? En d’autres termes, les spectateurs humains trouvent-ils les peintures de nuages ​​de Constable réalistes parce qu’elles documentent avec précision les phénomènes météorologiques transitoires ou parce qu’elles sont esthétiquement convaincantes pour les spectateurs habitués au langage visuel de la peinture de paysage européenne du XIXe siècle ?

Pour répondre à la question, l’étudiant-chercheur principal de l’équipe, le doctorant IST Zhuomin Zhang, a développé un algorithme pour détecter les caractéristiques les plus significatives dans le nuage Constable, puis a conçu et formé un réseau de neurones convolutifs (CNN) pour comparer les nuages ​​​​peints par l’artiste avec la réalité photos des nuages.

After Constable’s Clouds s’engagera dans le débat de longue date de l’histoire de l’art sur l’originalité et la tradition dans l’art français du XIXe siècle tout en cherchant à développer davantage l’application du CV à la recherche humaniste, selon les chercheurs. Parmi les questions auxquelles l’équipe cherche maintenant à répondre figurent : Dans quelle mesure l’influence de Constable a-t-elle déterminé la peinture progressiste dans la France du XIXe siècle ? Dans quelle mesure les précédents artistiques ont-ils été utilisés pour améliorer l’observation directe de la nature ? Et dans quelle mesure des éléments techniquement difficiles mais thématiquement discrets comme les nuages, sont-ils des marqueurs fiables d’influence artistique ?

Cette recherche répondra non seulement aux questions d’histoire de l’art, mais contribuera également à faire progresser l’IA (intelligence artificielle) selon Wang. Les peintures de paysage sont abstraites du monde réel et différents peintres ont leur propre façon de représenter le même sujet. Les techniques modernes, telles que les réseaux de neurones, capturent les similitudes de modèles entre les exemples de formation à des niveaux relativement bas d’informations stockées dans les pixels, explique Wang. Cependant, pour répondre à la question de l’histoire de l’art, l’équipe devait fournir non seulement un moyen fiable de distinguer différents groupes de peintures, mais également les explications derrière les décisions générées par ordinateur avec des informations de haut niveau qui pourraient aider à faire progresser la compréhension de l’histoire de l’art. Selon Wang, de tels défis aideront à développer d’autres méthodologies d’IA qui pourraient avoir des applications plus larges.

Équipe

Mansfield, spécialiste de l’art européen des XVIIIe et XIXe siècles, apportera son expertise en histoire de l’art. Wang, un expert internationalement reconnu en analyse d’image, modélisation d’image, capture d’image et applications, supervisera toutes les recherches informatiques liées au projet.

Jia Li, professeur de statistiques dont les domaines de recherche comprennent l’apprentissage automatique, l’IA, les modèles de graphes probabilistes et l’analyse d’images, apportera une expertise informatique supplémentaire.

Les expériences seront menées par un doctorant anonyme au Collège des sciences et technologies de l’information et travailleront sous la direction de Wang et Li au Laboratoire de recherche sur les systèmes d’information intelligents.

La conceptualisation du projet, l’expertise en gestion de données et l’assistance à la gestion de projet seront fournies par John Russell, bibliothécaire en sciences humaines numériques et professeur adjoint.

George Young, professeur de météorologie et spécialiste de la météorologie observationnelle et prédictive, ainsi que de l’IA, aidera à l’étiquetage des ensembles de données et à la vérification du ML.

La conservation et la structuration des données ont été supervisées par Catherine Adams du Center for Virtual/Materials Studies de Penn State.

Un conseil consultatif de chercheurs en dehors de Penn State fournira une expertise et des conseils supplémentaires. Ses membres incluent Paul Messier, Emily Pugh et David G. Stork.

« After Constable’s Clouds » se terminera par un symposium consacré à l’application du CV et du ML à la recherche en histoire de l’art, avec une heure, une date et un lieu à déterminer.