Det spanske AI-selskapet Multiverse Computing har annonsert lanseringen av verdens minste høytytende AI-modeller, muliggjort gjennom en egenutviklet kvanteinspirert kompresjonsteknologi kalt CompactifAI. Denne teknologien reduserer størrelsen på store språkmodeller med opptil 95% uten å kompromittere ytelsen, og kan kutte driftskostnadene med så mye som 80%.
Ved å kombinere prinsipper fra kvantefysikk og maskinlæring, uten behov for kvantedatamaskiner, har Multiverse utviklet komprimerte versjoner av populære åpne språkmodeller som Metas Llama, Kinas DeepSeek og Frankrikes Mistral. Disse modellene er tilgjengelige gjennom Amazon Web Services' AI-markedsplass, noe som utvider deres anvendelighet i bedriftsmiljøer.
Blant de nye modellene er SuperFly, en komprimert versjon av Hugging Faces SmolLM2 135. Til tross for en reduksjon til 94 millioner parametere fra de opprinnelige 135 millionene, er SuperFly designet for miljøer med begrenset data og egner seg for integrering i husholdningsapparater. For eksempel kan en vaskemaskin utstyres med SuperFly for å svare umiddelbart på stemmekommandoer som "start hurtigvask".
En annen bemerkelsesverdig modell er ChickBrain, en 3,2-milliarder-parameter versjon av Metas Llama 3.1 8B. ChickBrain er kompakt nok til å kjøre offline på en MacBook og presterer bedre enn sin opprinnelige modell i flere tester, inkludert språkforståelse og matematisk resonnering.
Multiverse Computing har sikret €189 millioner i finansiering fra investorer som Bullhound Capital, HP Inc, Forgepoint Capital og Toshiba for å videreutvikle sin kompresjonsteknologi. Dette gjør selskapet til den største AI-startupen i Spania, og plasserer det blant de ledende europeiske AI-selskapene.
Selskapets kompresjonstilnærming skiller seg fra tradisjonelle metoder ved å fokusere på modellens korrelasjonsrom, noe som muliggjør en mer kontrollert og tolkbar kompresjon. Denne metoden kan implementeres sammen med andre kompresjonsteknikker og har vist seg å redusere minnebruken til Llama 7B med 93%, samtidig som den akselererer treningstiden med 50% og inferenstiden med 25%, med kun en liten nøyaktighetsreduksjon på 2-3%.
Multiverse samarbeider med store produsenter som Apple, Samsung, Sony og HP, samt selskaper som BASF, Ally, Moody's og Bosch, for å integrere teknologien i ulike sektorer. For å gjøre modellene tilgjengelige for et bredere publikum, tilbyr Multiverse sine komprimerte AI-modeller via en API på AWS, slik at utviklere kan integrere dem i sine applikasjoner til konkurransedyktige priser.
Denne utviklingen markerer et betydelig skifte fra skybasert til lokal prosessering av AI, noe som kan endre hvordan AI integreres i hverdagslige enheter. Ved å fokusere på kompakte, høytytende modeller, muliggjør Multiverse smartere husholdningsapparater og forbrukerelektronikk, samtidig som de imøtekommer økende krav til personvern og operasjonell effektivitet i en stadig mer tilkoblet verden.