Les représentations distribuées sont-elles vraiment distribuées ? Observations sur la localisation de l’information syntaxique dans les tâches d’accord du verbe en français (How Distributed are Distributed Representations ? An Observation on the Locality of Syntactic)
Ce travail aborde la question de la localisation de l’information syntaxique qui est encodée dans les représentations de transformers. En considérant la tâche d’accord objet-participe passé en français, les résultats de nos sondes linguistiques montrent que les informations nécessaires pour accomplir la tâche sont encodées d’une manière locale dans les représentations de mots entre l’antécédent du pronom relatif objet et le participe passé cible. En plus, notre analyse causale montre que le modèle s’appuie essentiellement sur les éléments linguistiquement motivés (i.e. antécédent et pronom relatif) pour prédire le nombre du participe passé.
Code (0)
등록된 구현이 없습니다.
Similar Papers 제목 키워드 기반
Apport des termes complexes pour enrichir l'analyse distributionnelle en domaine sp\'ecialis\'e (Multi-words terms impact in improving domain-specific distributed representations )
L{'}essor et les performances des mod{\`e}les de s{\'e}mantique distributionnelle sont principalement dus {\`a} l{'}accroissement de la quantit{\'e} de donn{\'e}es textuelles disponibles ainsi qu{'}{\`a} la g{\'e}n{\'e}r…
Décontextualiser des plongements contextuels pour construire des thésaurus distributionnels (Decontextualizing contextual embeddings for building distributional thesauri )
Même si les modèles de langue contextuels sont aujourd’hui dominants en traitement automatique des langues, les représentations qu’ils construisent ne sont pas toujours adaptées à toutes les utilisations. Dans cet articl…
La génération de textes artificiels en substitution ou en complément de données d’apprentissage (Generating artificial texts as substitution or complement of training data )
La qualité des textes générés artificiellement s’est considérablement améliorée avec l’apparition des transformers. La question d’utiliser ces modèles pour augmenter les données d’apprentissage pour des tâches d’apprenti…
R\'ealisation phon\'etique et contraste phonologique marginal : une \'etude automatique des voyelles du roumain (Phonetic realization and marginal phonemic contrast : an automatic study of the Romanian vowels)
Cet article est d{\'e}di{\'e} {\`a} l{'}analyse acoustique des voyelles du roumain : des productions en parole continue sont compar{\'e}es {\`a} des prononciations {``}de laboratoire{''}. Les objectifs sont : (1) d{\'e}c…
Adaptation au domaine de modèles de langue à l’aide de réseaux à base de graphes (Graph Neural Networks for Adapting General Domain Language Modèles Specialised Corpora)
Les modèles de langue prodonds encodent les propriétés linguistiques et sont utilisés comme entrée pour des modèles plus spécifiques. Utiliser leurs représentations de mots telles quelles pour des domaines peu dotés se r…