Mieux utiliser BERT pour la détection d’évènements à partir de peu d’exemples (Better exploitation of BERT for few-shot event detection)
Les méthodes actuelles pour la détection d’évènements, qui s’appuient essentiellement sur l’apprentissage supervisé profond, s’avèrent très coûteuses en données annotées. Parmi les approches pour l’apprentissage à partir de peu de données, nous exploitons dans cet article le méta-apprentissage et l’utilisation de l’encodeur BERT pour cette tâche. Plus particulièrement, nous explorons plusieurs stratégies pour mieux exploiter les informations présentes dans les différentes couches d’un modèle BERT pré-entraîné et montrons que ces stratégies simples permettent de dépasser les résultats de l’état de l’art pour cette tâche en anglais.
Code (0)
등록된 구현이 없습니다.
Tasks
Event DetectionSimilar Papers 제목 키워드 기반
R\'e-entra\^\iner ou entra\^\iner soi-m\^eme ? Strat\'egies de pr\'e-entra\^\inement de BERT en domaine m\'edical (Re-train or train from scratch ? Pre-training strategies for BERT in the medical domain )
Les mod{\`e}les BERT employ{\'e}s en domaine sp{\'e}cialis{\'e} semblent tous d{\'e}couler d{'}une strat{\'e}gie assez simple : utiliser le mod{\`e}le BERT originel comme initialisation puis poursuivre l{'}entra{\^\i}nem…
NERIntérêt des modèles de caractères pour la détection d’événements (The interest of character-level models for event detection)
Cet article aborde la tâche de détection d’événements, visant à identifier et catégoriser les mentions d’événements dans les textes. Une des difficultés de cette tâche est le problème des mentions d’événements correspond…
Event DetectionIntroduction d'informations s\'emantiques dans un syst\`eme de reconnaissance de la parole (Despite spectacular advances in recent years, the Automatic Speech Recognition (ASR) systems still make mistakes, especially in noisy environments)
Malgr{\'e} les avanc{\'e}s spectaculaires ces derni{\`e}res ann{\'e}es, les syst{\`e}mes de Reconnaissance Automatique de Parole (RAP) commettent encore des erreurs, surtout dans des environnements bruit{\'e}s. Pour am{\…
Automatic Speech RecognitionAutomatic Speech Recognition (ASR)speech-recognitionSpeech RecognitionMultialignement vs bialignement : \`a plusieurs, c'est mieux !
Dans cet article, nous proposons une m{\'e}thode originale destin{\'e}e {\`a} effectuer l{'}alignement d{'}un corpus multiparall{\`e}le, i.e. comportant plus de deux langues, en prenant en compte toutes les langues simul…
Apprentissage de plongements de mots sur des corpus en langue de sp\'ecialit\'e : une \'etude d'impact (Learning word embeddings on domain specific corpora : an impact study )
Les m{\'e}thodes d{'}apprentissage de plongements lexicaux constituent d{\'e}sormais l{'}{\'e}tat de l{'}art pour la repr{\'e}sentation du vocabulaire et des documents sous forme de vecteurs dans de nombreuses t{\^a}ches…
Learning Word EmbeddingsWord Embeddings