Oppdatert AI Energy Score-ledertavle introduserer resonneringsmodeller

Hovedpunkter:

  • Hugging Face har oppdatert AI Energy Score-ledertavlen med resonneringsmodeller.
  • Resonneringsmodeller bruker i gjennomsnitt 100 ganger mer energi enn modeller uten resonnering.
  • Noen modeller med resonnering bruker opptil 6000 ganger mer energi enn uten.
  • Effektiviteten til nyere modeller varierer; noen er mer energieffektive, mens andre bruker mer energi.
  • Salesforce har integrert AI Energy Score i sine interne modeller for å fremme energieffektivitet.

Hugging Face har nylig lansert en oppdatert versjon av sin AI Energy Score-ledertavle, som nå inkluderer resonneringsmodeller. Denne oppdateringen avslører betydelige forskjeller i energiforbruk mellom modeller med og uten resonnering.

Resonneringsmodeller, som bruker intern monolog for å forbedre ytelsen, har blitt stadig mer populære. Imidlertid viser analyser at disse modellene i gjennomsnitt bruker 100 ganger mer energi enn modeller uten resonnering. For eksempel bruker DeepSeek-R1-Distill-Llama-70B med resonnering aktivert 308 185,51 watt-timer per 1000 forespørsler, sammenlignet med 49,53 watt-timer uten resonnering – en økning på over 6000 ganger.

Effektiviteten til nyere modeller varierer. Av 15 evaluerte modeller hadde ni høyere eller likt energiforbruk sammenlignet med tidligere modeller av lignende størrelse. Dette understreker behovet for å velge riktig modell for hver oppgave for å unngå unødvendig energiforbruk.

Salesforce har integrert AI Energy Score i sine interne modeller og forplikter seg til å publisere denne informasjonen for alle produksjonsmodeller fremover. Dette viser hvordan AI Energy Score kan brukes til å fremme energieffektivitet i praksis.

AI Energy Score-prosjektet fortsetter å utvikle seg, med planer om å inkludere flere modaliteter som videoproduksjon og agentoppgaver. Målet er å bygge et fundament for å tilpasse AI-innovasjon med planetens grenser.