Filtrage et régularisation pour améliorer la plausibilité des poids d’attention dans la tâche d’inférence en langue naturelle (Filtering and regularization to improve the plausibility of attention weights in NLI)
Nous étudions la plausibilité d’un mécanisme d’attention pour une tâche d’inférence de phrases (entailment), c’est-à-dire sa capacité à fournir une explication plausible pour un humain de la relation entre deux phrases. En s’appuyant sur le corpus Explanation-Augmented Standford Natural Language Inference, il a été montré que les poids d’attention sont peu plausibles en pratique et tendent à ne pas se concentrer sur les tokens importants. Nous étudions ici différentes approches pour rendre les poids d’attention plus plausibles, en nous appuyant sur des masques issus d’une analyse morphosyntaxique ou sur une régularisation pour forcer la parcimonie. Nous montrons que ces stratégies permettent d’améliorer sensiblement la plausibilité des poids d’attention et s’avèrent plus performantes que les approches par carte de saillance.
Code (0)
등록된 구현이 없습니다.
Tasks
Natural Language InferenceSimilar Papers 제목 키워드 기반
Am\'elioration de la traduction automatique d'un corpus annot\'e (Improvement of the automatic translation of an annotated corpus)
Dans cet article, nous pr{\'e}sentons une m{\'e}thode pour am{\'e}liorer la traduction automatique d{'}un corpus annot{\'e} et porter ses annotations de l{'}anglais vers une langue cible. Il s{'}agit d{'}am{\'e}liorer la…
Exploring the neighbor graph to improve distributional thesauri (Explorer le graphe de voisinage pour am\'eliorer les th\'esaurus distributionnels) [in French]
Des pseudo-sens pour am\'eliorer l'extraction de synonymes \`a partir de plongements lexicaux (Pseudo-senses for improving the extraction of synonyms from word embeddings)
Au-del{\`a} des mod{\`e}les destin{\'e}s {\`a} construire des plongements lexicaux {\`a} partir de corpus, des m{\'e}thodes de sp{\'e}cialisation de ces repr{\'e}sentations selon diff{\'e}rentes orientations ont {\'e}t{\…
Word EmbeddingsLa génération de textes artificiels en substitution ou en complément de données d’apprentissage (Generating artificial texts as substitution or complement of training data )
La qualité des textes générés artificiellement s’est considérablement améliorée avec l’apparition des transformers. La question d’utiliser ces modèles pour augmenter les données d’apprentissage pour des tâches d’apprenti…