Flux d’informations dans les systèmes encodeur-décodeur. Application à l’explication des biais de genre dans les systèmes de traduction automatique. (Information flow in encoder-decoder systems applied to the explanation of gender bias in machine translation systems)
Ce travail présente deux séries d’expériences visant à identifier les flux d’information dans les systèmes de traduction neuronaux. La première série s’appuie sur une comparaison des décisions d’un modèle de langue et d’un modèle de traduction pour mettre en évidence le flux d’information provenant de la source. La seconde série met en évidence l’impact de ces flux sur l’apprentissage du système dans le cas particulier du transfert de l’information de genre.
Code (0)
등록된 구현이 없습니다.
Tasks
Machine TranslationSimilar Papers 제목 키워드 기반
Mieux utiliser BERT pour la détection d’évènements à partir de peu d’exemples (Better exploitation of BERT for few-shot event detection)
Les méthodes actuelles pour la détection d’évènements, qui s’appuient essentiellement sur l’apprentissage supervisé profond, s’avèrent très coûteuses en données annotées. Parmi les approches pour l’apprentissage à partir…
Event DetectionAuto-encodeurs variationnels : contrecarrer le problème de posterior collapse grâce à la régularisation du décodeur (Variational auto-encoders : prevent posterior collapse via decoder regularization)
Les auto-encodeurs variationnels sont des modèles génératifs utiles pour apprendre des représentations latentes. En pratique, lorsqu’ils sont supervisés pour des tâches de génération de textes, ils ont tendance à ignorer…
DecoderDes R\'eseaux de Neurones avec M\'ecanisme d'Attention pour la Compr\'ehension de la Parole (Exploring the use of Attention-Based Recurrent Neural Networks For Spoken Language Understanding )
L{'}{\'e}tude porte sur l{'}apport d{'}un r{\'e}seau de neurones r{\'e}current (Recurrent Neural Network RNN) bidirectionnel encodeur/d{\'e}codeur avec m{\'e}canisme d{'}attention pour une t{\^a}che de compr{\'e}hension …
Spoken Language UnderstandingAnalyse de la r\'egulation de la longueur dans un syst\`eme neuronal de compression de phrase : une \'etude du mod\`ele LenInit (Investigating Length Regulation in a Sentence Compression Neural System : a Study on the LenInit Model)
La simplification de phrase vise {\`a} r{\'e}duire la complexit{\'e} d{'}une phrase tout en retenant son sens initial et sa grammaticalit{\'e}. En pratique, il est souvent attendu que la phrase produite soit plus courte …
SentenceSentence CompressionAuto-encodeurs pour la compr\'ehension de documents parl\'es (Auto-encoders for Spoken Document Understanding)
Les repr{\'e}sentations de documents au moyen d{'}approches {\`a} base de r{\'e}seaux de neurones ont montr{\'e} des am{\'e}liorations significatives dans de nombreuses t{\^a}ches du traitement du langage naturel. Dans l…
document understanding