Oublier ce qu'on sait, pour mieux apprendre ce qu'on ne sait pas : une \'etude sur les contraintes de type dans les mod\`eles CRF
Quand on dispose de connaissances a priori sur les sorties possibles d{'}un probl{\e}me d{'}{\'e}tiquetage, il semble souhaitable d{'}inclure cette information lors de l{'}apprentissage pour simplifier la t{\^a}che de mod{\'e}lisation et acc{\'e}l{\'e}rer les traitements. Pourtant, m{\^e}me lorsque ces contraintes sont correctes et utiles au d{\'e}codage, leur utilisation lors de l{'}apprentissage peut d{\'e}grader s{\'e}v{\e}rement les performances. Dans cet article, nous {\'e}tudions ce paradoxe et montrons que le manque de contraste induit par les connaissances entra{\^\i}ne une forme de sous-apprentissage qu{'}il est cependant possible de limiter.
Code (0)
등록된 구현이 없습니다.
Similar Papers 제목 키워드 기반
Participation d’EDF R&D à DEFT 2021 (EDF R&D Participation to DEFT 2021)
Ce papier présente la participation d’EDF R&D à la campagne d’évaluation DEFT 2021. Notre équipe a participé aux deux dernières tâches proposées (T2 et T3), deux tâches sur le calcul de similarité sémantique entre textes…
SAITS: Self-Attention-based Imputation for Time Series
Missing data in time series is a pervasive problem that puts obstacles in the way of advanced analysis. A popular solution is imputation, where the fundamental challenge is to determine what values should be filled in. T…
ImputationMissing ValuesMultivariate Time Series ImputationTime Series+2SaiT: Sparse Vision Transformers through Adaptive Token Pruning
While vision transformers have achieved impressive results, effectively and efficiently accelerating these models can further boost performances. In this work, we propose a dense/sparse training framework to obtain a uni…
Knowledge DistillationParticipation d’EDF R&D à DEFT 2022 (EDF R&D Participation to DEFT 2022)
Ce papier présente la participation d’EDF R&D à la campagne d’évaluation DEFT 2022. Notre équipe a participé aux deux tâches proposées, l’une sur la prédiction automatique de la note d’un étudiant.e pour sa réponse à une…
Apprentissage de plongements de mots sur des corpus en langue de sp\'ecialit\'e : une \'etude d'impact (Learning word embeddings on domain specific corpora : an impact study )
Les m{\'e}thodes d{'}apprentissage de plongements lexicaux constituent d{\'e}sormais l{'}{\'e}tat de l{'}art pour la repr{\'e}sentation du vocabulaire et des documents sous forme de vecteurs dans de nombreuses t{\^a}ches…
Learning Word EmbeddingsWord Embeddings