HyperAIHyperAI
il y a 2 mois

Réexamen de l'indexation par correspondance distributionnelle : Une réimplémentation en Python et de nouvelles expériences

Alejandro Moreo; Andrea Esuli; Fabrizio Sebastiani
Réexamen de l'indexation par correspondance distributionnelle : Une réimplémentation en Python et de nouvelles expériences
Résumé

Ce document présente PyDCI, une nouvelle implémentation de l'indexation par correspondance distributionnelle (DCI) écrite en Python. DCI est une méthode d'apprentissage par transfert pour la classification de texte inter-domaines et inter-langues, pour laquelle nous avions fourni une implémentation (ici appelée JaDCI) basée sur JaTeCS, un cadre Java pour la classification de texte. PyDCI est une version autonome de DCI qui exploite scikit-learn et la pile SciPy. Nous rapportons ici les nouveaux expériences que nous avons menées afin de tester PyDCI, en utilisant comme points de référence des méthodes à haute performance récemment apparues après la proposition initiale de DCI. Ces expériences montrent que, grâce à quelques améliorations subtiles apportées à DCI, PyDCI surpasse à la fois JaDCI et les méthodes à haute performance mentionnées ci-dessus, et fournit les meilleurs résultats connus sur deux benchmarks populaires sur lesquels nous avions testé DCI, à savoir MultiDomainSentiment (aussi connu sous le nom de MDS -- pour l'adaptation inter-domaines) et Webis-CLS-10 (pour l'adaptation inter-langues). PyDCI, ainsi que le code permettant de reproduire nos expériences, est disponible sur https://github.com/AlexMoreo/pydci .