Adaptation au domaine de modèles de langue à l’aide de réseaux à base de graphes (Graph Neural Networks for Adapting General Domain Language Modèles Specialised Corpora)
Les modèles de langue prodonds encodent les propriétés linguistiques et sont utilisés comme entrée pour des modèles plus spécifiques. Utiliser leurs représentations de mots telles quelles pour des domaines peu dotés se révèle être moins efficace. De plus, ces modèles négligent souvent les informations globales sur le vocabulaire au profit d’une plus forte dépendance à l’attention. Nous considérons que ces informations influent sur les résultats des tâches en aval. Leur combinaison avec les représentations contextuelles est effectuée à l’aide de réseaux de neurones à base de graphes. Nous montrons que l’utilité de cette combinaison qui surpassent les performances de baselines.
Code (0)
등록된 구현이 없습니다.
Similar Papers 제목 키워드 기반
Étapes préparatoires pour la détection des valeurs humaines dans des commentaires du domaine de la parfumerie (Detecting Human Values in Comments on Perfumery)
La détection des valeurs humaines dans le texte est une tâche qui intéresse les industriels dans la mesure où elles complèten t le profil des consommateurs. Cette détection nécessite des outils et des méthodes issues du …
Etiquetage morpho-syntaxique en domaine de sp\'ecialit\'e: le domaine m\'edical
L{'}{\'e}tiquetage morpho-syntaxique est une t{\^a}che fondamentale du Traitement Automatique de la Langue, sur laquelle reposent souvent des traitements plus complexes tels que l{'}extraction d{'}information ou la tradu…
Adaptation de domaine non supervis\'ee pour la reconnaissance de la langue par r\'egularisation d'un r\'eseau de neurones (Unsupervised domain adaptation for language identification by regularization of a neural network)
Les syst{\`e}mes automatiques d{'}identification de la langue subissent une d{\'e}gradation importante de leurs performances quand les caract{\'e}ristiques acoustiques des signaux de test diff{\`e}rent fortement des cara…
Domain AdaptationLanguage IdentificationUnsupervised Domain AdaptationInfluence de la quantit\'e de donn\'ees sur une t\^ache de segmentation de phones fond\'ee sur les r\'eseaux de neurones (Phone-level speech segmentation with neural networks : influence of the amount of data )
Dans cet article, nous d{\'e}crivons une {\'e}tude exp{\'e}rimentale de segmentation de parole en unit{\'e}s acoustiques sous-lexicales (phones) {\`a} l{'}aide de r{\'e}seaux de neurones. Sur le corpus de parole spontan{…
O_FT@EvalLLM2025 : étude comparative de choix de données et de stratégies d'apprentissage pour l'adaptation de modèles de langue à un domaine
This paper presents the work carried out by the O_FT team, joint with Orange and Ouest-France, on adapting language models to the defense domain as part of the EvalLLM2025 challenge. This work focused on adapting the \te…
General KnowledgeDomain Adaptation