Umjetna inteligencija i veliki jezični modeli osvojili su korisnike diljem svijeta. No, iako velike tvrtke koje su razvile te modele pokušavaju korisnicima omogućiti njihovo korištenje i na mobilnim uređajima, svi se suočavaju s istim problemom - nedostatkom memorije.
Današnji pametni telefoni često, na papiru, imaju više memorije od prosječnog uredskog računala, ali jednostavno nisu dovoljno snažni da bi obrađivali milijarde parametara koji se koriste u velikim jezičnim modelima.
No, to bi se u budućnosti moglo promijeniti. U znanstvenom radu koji je prije nekoliko tjedana objavljen na repozitoriju arXiv, znanstvenici iz Applea objavili su kako su razvili metodu koja će omogućiti budućim mobilnim uređajima da prenose podatke između flash memorije i DRAM-a puno brže i učinkovitije, te tako omogućili pokretanje i korištenje snažnih sustava umjetne inteligencije.
Pročitajte i ovo
Istraživači pišu da njihov proces može pokretati AI programe dvostruko veće od kapaciteta DRAM-a uređaja, ubrzati CPU operacije do 500%, a GPU procese za do 25 puta u odnosu na sadašnju tehnologiju.
Naša metoda uključuje konstruiranje modela troškova zaključivanja koji je u skladu s ponašanjem flash memorije, vodeći nas da optimiziramo dva kritična područja: smanjenje količine podataka prenesenih s flash memorije i čitanje podataka u većim, uzastopnijim dijelovima, zapisali su istraživači u svom rad pod naslovom "LLM in a flash: Efficient Large Language Model Inference with Limited Memory".
Pojasnili su kako su pri tome koristili dvije metode. Prva, windowing, kojom su smanjili količinu podataka koje je potrebno razmijeniti između flash memorije i RAM-a. To se postiže ponovnim korištenjem rezultata nedavnih izračuna, minimiziranjem IO zahtjeva i uštedom energije i vremena. Dok je druga bila grupiranje redaka i stupaca, koje postiže veću učinkovitost obradom većih dijelova podataka odjednom iz flash memorije.
Ovo otkriće je posebno ključno za implementaciju naprednih LLM-ova u okruženjima s ograničenim resursima, čime se proširuje njihova primjenjivost i pristupačnost, naveli su istraživači iz Applea.
Dodaju kako od dubinske razmjene prirodnog jezika do provjere vitalnih znakova putem globalne baze podataka, pružanja prijevoda u stvarnom vremenu, pa čak i stvaranja animiranih avatara iz videozapisa s jednom lećom, ova poboljšanja signaliziraju put prema moćnijoj i svestranijoj umjetnoj inteligenciji čije bi mogućnosti mogle biti integrirane u naš svakodnevni život.
-
NEVJEROJATNOSlavni nogometaš Irana ide u rat protiv Amerike? Još jučer igrao, a sad spreman za pušku
-
MISTERIOZNA MRLJAObjavljena fotografija crvene mrlje na Trumpovu vratu: Oglasila se Bijela kuća
-
PRIJETI ESKALACIJAVIDEO Izraelci pokrenuli nove napade na Teheran pa objavili da su ubili 1500 Iranaca. Porastao i broj poginulih američkih vojnika
