University of Ottawa

Objet publié

La proposition principale du programme Défi « IA au service de la conception » vise à intégrer 2 méthodes puissantes d’analyse des données, à savoir l’analyse topologique des données (TDA) et l’apprentissage machine (AM). Ces 2 approches ont jusqu’à présent été relativement indépendantes l’une de l’autre dans la pratique. La présente proposition vise à développer de nouvelles techniques qui combinent les forces des 2 approches afin de créer une nouvelle génération d’outils destinés à l’analyse de données complexes. En effet, les nombreux types de données séquentielles pour lesquelles des transformateurs sont utilisés (séquences de mots dans des textes en langue naturelle, séquences de code de programmation ou séquences d’images vidéo et audio) sont tous très complexes en ce sens que les données elles-mêmes sont à haute dimension (p. ex. dans les vidéos), qu’elles impliquent une structure de très haut niveau (p. ex. la manière dont les pixels d’une vidéo nous permettent de voir un chat bouger ne peut pas se résumer en une poignée d’équations), et que les corpus de données nécessaires à l’entraînement sont volumineux. Or, la TDA est très efficace pour résumer la structure d’ordre de haut niveau et la géométrie réelle des données. Nous proposons de développer une approche systématique combinant la TDA et les transformateurs afin d’améliorer l’efficacité de l’apprentissage et de l’analyse des données complexes. La proposition se divise en 2 volets. Le 1er volet vise à développer une version hiérarchique de structures TDA qui utilisent des couches successives, chaque couche regroupant les points de la couche inférieure, à l’instar du fonctionnement des réseaux neuronaux convolutionnels. Le 2e volet, qui vise le paradigme d’AM des réseaux de transformateurs, propose d’utiliser les images de persistance TDA comme représentation des données, qui seront transmises aux transformateurs. Les outils développés seront testés sur des ensembles de données pour lesquelles les techniques actuelles utilisent des transformateurs pour résoudre le problème d’apprentissage sous-jacent; toutefois, ces techniques n’ont pas encore été exploitées, car ce genre d’information ne se trouve pas dans les données qui alimentent typiquement les transformateurs. La découverte de nouvelles protéines dont la luminosité ou les propriétés thérapeutiques devraient être souhaitables en est un exemple. Les techniques actuelles dans ce domaine utilisent des transformateurs pour générer des séquences d’acides aminés susceptibles d’avoir les propriétés souhaitées (ces séquences sont ensuite synthétisées et testées). On sait que la géométrie d’une protéine fluorescente contribue directement à la luminosité, et les informations sur les formes pliées sont disponibles pour de nombreuses protéines utilisées pour entraîner le transformateur; or, ces informations géométriques ne sont pas transmises au transformateur. Nous proposons de les résumer à l’aide d’images de persistance TDA et d’utiliser ces dernières pour entraîner des transformateurs légèrement modifiés. Notre objectif est de démontrer qu’un transformateur TDA a une meilleure capacité de génération par rapport à un transformateur de base seul.