Seminar: Hugo Lecourt, Master student in Data Science on attention in deep learning
Date :
Hugo Lecourt, étudiant du Master Science des Données de l'Université de Rouen et de la Graduate School Minmacs, fera un séminaire sur l'attention en apprentissage profond en salle M.1.0, RdC de l'UFR des Sciences de l'Université de Rouen au Madrillet, le vendredi 25 février de 11h à 12h.
Title : L'attention en apprentissage profond, des LSTM aux Visio-Transformers.
Abstract: Les transformers sont des architectures qui connaissent beaucoup de succès ces dernières années. Celles-ci proposent des performances importantes avec des temps d’entrainement bien plus faibles et de fortes possibilités de parallélisation permettant de créer des modèles avec un nombre de paramètres très important répartis sur plusieurs machines. Ces architectures reposent sur un concept important, l’attention, et mon objectif sera de présenter ma vision de ce concept fondamental. Je vous présenterai donc au sein de ce séminaire trois architecture utilisant l’attention, une de l’ère pre-transformer (LSTM), le transformer et une de l’ère post-transformer (Visio-transformer). Ces architectures couvrent des domaines diverses comme le traitement du langage et la vision. Je vous détaillerai chaque architecture afin d’apporter une vue assez complète de ce que je pense être l’attention. Une analyse de chaque modèle sera proposée, où performances, interprétations et coûts de calcul seront discutés. À partir de cela, j’espère apporter une vision intuitive de l’attention permettant peut-être sa meilleure compréhension.
Lieu & date : salle M.1.0, UFR ST Madrillet, le vendredi 25 février, 11-12
Visio : https://webconf.univ-rouen.fr/greenlight/pet-pex-jtb-qz1
(la présentation sera enregistrée)
Contact: Caroline.Petitjean@univ-rouen.fr
Title : L'attention en apprentissage profond, des LSTM aux Visio-Transformers.
Abstract: Les transformers sont des architectures qui connaissent beaucoup de succès ces dernières années. Celles-ci proposent des performances importantes avec des temps d’entrainement bien plus faibles et de fortes possibilités de parallélisation permettant de créer des modèles avec un nombre de paramètres très important répartis sur plusieurs machines. Ces architectures reposent sur un concept important, l’attention, et mon objectif sera de présenter ma vision de ce concept fondamental. Je vous présenterai donc au sein de ce séminaire trois architecture utilisant l’attention, une de l’ère pre-transformer (LSTM), le transformer et une de l’ère post-transformer (Visio-transformer). Ces architectures couvrent des domaines diverses comme le traitement du langage et la vision. Je vous détaillerai chaque architecture afin d’apporter une vue assez complète de ce que je pense être l’attention. Une analyse de chaque modèle sera proposée, où performances, interprétations et coûts de calcul seront discutés. À partir de cela, j’espère apporter une vision intuitive de l’attention permettant peut-être sa meilleure compréhension.
Lieu & date : salle M.1.0, UFR ST Madrillet, le vendredi 25 février, 11-12
Visio : https://webconf.univ-rouen.fr/greenlight/pet-pex-jtb-qz1
(la présentation sera enregistrée)
Contact: Caroline.Petitjean@univ-rouen.fr