Certains modèles d'IA émettent 50 fois plus de CO₂

Les modèles de langage grand (LLMs) ont rapidement intégré notre quotidien, mais leur utilisation intensive en énergie et en eau soulève des préoccupations environnementales. Une nouvelle étude publiée dans Frontiers in Communication par des chercheurs de l'Hochschule München University of Applied Sciences en Allemagne a mesuré et comparé les émissions de CO2 associées à différents LLMs déjà formés, mettant en lumière une importante empreinte carbone que la plupart des utilisateurs ignorent. Développements Centraux Key People and Organizations Involved: - Maximilian Dauner: Chercheur principal à l'Hochschule München University of Applied Sciences. - Hochschule München University of Applied Sciences: Institution allemande où l'étude a été menée. Timeline and Background: L'étude a été réalisée récemment, examinant 14 modèles de langage grand (LLMs) allant de 7 à 72 milliards de paramètres. Ces paramètres déterminent comment les LLMs apprennent et traitent l'information. Les chercheurs ont utilisé un ensemble de 1,000 questions standardisées sur divers sujets pour évaluer les émissions de CO2. Cause, Progression, and Outcome: La cause principale de l'empreinte carbone élevée des LLMs est liée à leur approche de raisonnement. Les modèles de raisonnement produisent des tokens supplémentaires, appelés "tokens de pensée", qui permettent des calculs internes plus complexes avant de générer une réponse. Ce processus augmente considérablement la consommation d'énergie et, par conséquent, les émissions de CO2. Major Facts, Breakthroughs, or Turning Points Facts: - Les modèles de raisonnement ont généré en moyenne 543.5 tokens de pensée par question, tandis que les modèles concis n'en nécessitaient que 37.7 tokens. - Le modèle Cogito, doté de 70 milliards de paramètres, a atteint une précision de 84.9%, mais a produit trois fois plus d'émissions de CO2 que des modèles similaires générant des réponses plus concises. - Aucun modèle ayant maintenu ses émissions de CO2 en dessous de 500 grammes n'a obtenu plus de 80% de précision sur les 1,000 questions. - Les questions nécessitant des raisonnements complexes, comme celles portant sur l'algèbre abstraite ou la philosophie, ont entraîné jusqu'à six fois plus d'émissions de CO2 que des sujets plus simples comme l'histoire du lycée. Breakthroughs: - La découverte d'une claire corrélation entre l'approche de raisonnement des LLMs et leurs émissions de CO2. - La mise en évidence d'un compromis entre précision et durabilité dans les technologies LLM. Turning Points: - L'étude incite les utilisateurs à être plus conscients et sélectifs dans l'utilisation des LLMs, en promouvant des pratiques plus éco-responsables. - Elle souligne l'importance de choisir des modèles plus petits ou de limiter l'utilisation des modèles puissants aux tâches qui en ont vraiment besoin. Contextual Information Expert or Industry Commentary: Maximilian Dauner, le chercheur principal, espère que cette étude encouragera les utilisateurs à prendre des décisions plus informées concernant leur utilisation des LLMs. Il souligne la possibilité de réduire significativement les émissions en demandant aux IA de générer des réponses plus concises ou en limitant l'usage des modèles à forte capacité aux tâches qui en nécessitent véritablement. Company or Institutional Profiles: L'Hochschule München University of Applied Sciences est une institution de recherche et d'enseignement technique basée en Allemagne, spécialisée dans les sciences appliquées et les technologies. L'étude menée par cette université apporte une contribution importante à la compréhension des impacts environnementaux des technologies de l'IA. Broader Implications or Reactions: Cette étude a des implications significatives pour l'industrie de l'IA et le public. Elle met en relief le besoin de développer des modèles plus éco-responsables tout en maintenant un niveau de précision acceptable. De plus, elle invite les entreprises et les utilisateurs à adopter des pratiques plus durables, notamment en choisissant judicieusement les modèles et en optimisant leurs utilisations. En conclusion, l'étude de Maximilian Dauner et de son équipe révèle un aspect souvent négligé des LLMs : leur empreinte carbone. Bien que ces modèles offrent des avancées technologiques remarquables, il est crucial de peser les bénéfices contre les coûts environnementaux. En adoptant des pratiques plus réfléchies et en favorisant des modèles plus écologiques, nous pouvons réduire l'impact négatif de ces technologies sur notre planète.