Au cours des cinq dernières années, les approches par transfert utilisant les modèles de type Transformers ont établit l’État de l’Art sur de nombreuses tâches du Traitement Automatique des Langues. Ces approches deviennent de plus en plus populaires et nécessitent une grande quantité de données et de ressources computationnelles. La plupart des modèles de langue pré-entraînés ont fait l’objet de nombreuses études en anglais et seulement quelques-uns d’entre eux ont été évalués sur une tâche de compréhension de la parole en français. Dans cet article, nous proposons un tour d’horizon de référence, axé sur l’évaluation de la qualité de treize modèles bien établis basés sur les modèles Transformers. Les deux tâches de compréhension de la parole considérées sont MEDIA et ATIS-FR.