Commencez petit, pensez grand : sur l'optimisation des hyperparamètres pour les embeddings de graphes de connaissances à grande échelle

Les modèles d’embedding de graphes de connaissances (KGE) constituent une approche efficace et populaire pour représenter et raisonner sur des données multi-relationnelles. Des études antérieures ont montré que ces modèles sont sensibles aux réglages des hyperparamètres, dont le choix optimal dépend fortement du jeu de données. Dans cet article, nous explorons l’optimisation des hyperparamètres (HPO) pour des graphes de connaissances très volumineux, où le coût d’évaluation de chaque configuration d’hyperparamètres est prohibitif. Les travaux antérieurs ont souvent évité ce coût en recourant à diverses heuristiques — par exemple en entraînant sur un sous-graphe ou en réduisant le nombre d’époques. Nous discutons de manière systématique et évaluons la qualité et les gains de coût associés à ces heuristiques ainsi qu’à d’autres techniques d’approximation à faible coût. À la lumière de nos résultats, nous proposons GraSH, un algorithme efficace d’optimisation multi-fidélité pour les KGE à grande échelle, qui combine à la fois des techniques de réduction du graphe et de réduction des époques, et s’exécute en plusieurs itérations successives de fidélité croissante. Une étude expérimentale a montré que GraSH atteint des performances de pointe sur de grands graphes à un coût réduit (un total de trois entraînements complets).