Les grands modèles d'IA n'ont plus besoin de Google : ils peuvent fouiller leurs propres souvenirs

Les grands modèles linguistiques n’ont pas besoin de moteurs de recherche : ils peuvent fouiller leurs propres mémoires. Le cadre SSRL révèle que les modèles d’intelligence artificielle détiennent déjà la connaissance qu’ils cherchent à obtenir ailleurs. Nous avons longtemps entraîné les IA à consulter Google au lieu de leur apprendre à se souvenir de ce qu’elles savent déjà. Les conséquences pour les coûts et l’autonomie des systèmes d’IA sont considérables. Imaginez un agent IA qui doit répondre à des questions complexes. Chaque requête vers une API de recherche comme Google ou Bing entraîne un coût. Entraîner un modèle exige des milliers de ces appels, et les dépenses s’accumulent rapidement. Et si les réponses étaient déjà présentes dans le modèle, sans avoir besoin de sortir ? C’est précisément ce que prouvent des chercheurs de l’Université Tsinghua et du Laboratoire Shanghai d’IA. Leur approche, baptisée SSRL (Self-Search Retrieval Learning), démontre que les grands modèles linguistiques sont capables de « chercher » dans leurs propres connaissances — c’est-à-dire dans les informations intégrées pendant l’entraînement — pour répondre à des questions complexes. C’est comme découvrir que vous n’avez pas besoin de consulter une bibliothèque : vous avez déjà mémorisé la plupart des livres. Cette découverte remet en question une pratique courante : la dépendance aux moteurs de recherche pour valider ou compléter les réponses des IA. Elle suggère que les modèles actuels sous-estiment peut-être leur propre capacité de mémorisation et d’inférence. Comme l’a suggéré Ilya Sutskever, le fondateur de OpenAI, l’information cruciale pourrait déjà être là, profondément ancrée dans les poids du modèle, sans qu’on ait besoin de l’extraire via une requête externe. Ce changement de paradigme pourrait transformer l’industrie de l’IA. En réduisant la dépendance aux APIs de recherche, les entreprises pourraient réduire drastiquement leurs coûts d’entraînement et d’inférence. Plus important encore, les modèles deviendraient plus autonomes, plus rapides, et moins vulnérables aux interruptions ou aux limitations des services externes. En somme, cette avancée ne signifie pas que les moteurs de recherche deviendront obsolètes. Mais elle nous invite à repenser notre façon de concevoir les agents intelligents : au lieu de leur apprendre à chercher, peut-être devrions-nous leur apprendre à se souvenir.