University of Waterloo

Objet publié

L’objectif de ce projet consiste à utiliser un modèle abstrait de haut niveau de l’apprentissage par renforcement et à l’ancrer dans la biologie détaillée et la dynamique au niveau moléculaire des noyaux gris centraux ou basaux. En d’autres mots, l’équipe du projet montrera la façon dont ces détails moléculaires de bas niveau se combinent avec les structures biologiques (neurones et synapses dans les noyaux basaux) pour produire un comportement manifeste. Les animaux et les humains peuvent sélectionner des actions continues, comme la force utilisée pour tourner un bouton, ou des actions qui se prolongent dans le temps, comme suivre une trajectoire pour atteindre ou saisir un objet. On pense que les noyaux basaux du cerveau des mammifères sont associés à ce type de sélection d’actions, agissant comme un mécanisme de contrôle pour les mettre en branle. Les modèles de noyaux basaux, cependant, reposent généralement sur la théorie de l’apprentissage par renforcement qui traite à la fois les espaces d’action et le temps comme intrinsèquement discrets. Toutefois, des travaux récents (financés par le programme Défi « l’IA au service de la logistique » du CNRC) ont permis de mettre au point une théorie entièrement continue. Cette théorie, bien que compatible avec la biologie des noyaux basaux, est spécifiée à un niveau élevé avec des variables et composants abstraits. Ce projet propose donc de relier cette théorie aux détails biologiques réels des noyaux gris centraux au niveau de la connectivité biologique, des neurotransmetteurs et d’autres molécules. L’accent sera mis sur deux domaines : le réalisme biologique des entrées dans ces noyaux, y compris les représentations de la récompense, et le réalisme biologique des sorties continues des noyaux basaux, qui permet la sélection dans des espaces d’action continus. À partir du modèle obtenu, l’équipe étudiera les effets de la variation des détails moléculaires de bas niveau (tels que les concentrations de GABA, de glutamate, de cholestérol, etc.) sur le comportement de haut niveau, tel que la navigation dans les labyrinthes en T et le labyrinthe aquatique de Morris.