Ky shërbimi i ri i fuqizuar nga inteligjenca artificiale mund të gjenerojë imazhe në më pak se dy sekonda – dhe nuk ka nevojë për pajisje të shtrenjta për t’u ekzekutuar. Shkencëtarët nga Korea e Jugut kanë përdorur një teknikë të veçantë për të kompresuar madhësinë e një modeli gjenerues të imazheve të quajtur Stable Diffusion XL – i cili ka 2.56 miliardë parametra që AI përdor për të mësuar gjatë trajnimit.
Versioni më i vogël i modelit të ri, i njohur si “KOALA“, ka vetëm 700 milionë parametra, që do të thotë se mund të funksionojë më shpejt dhe pa pasur nevojë për pajisje të fuqishme dhe të shtrenjta të cilat shpenzojnë shumë energji. Metoda që ata përdorën, distilimi i njohurive, transferon njohuritë nga një model i madh në një më të vogël, në mënyrë ideale pa kompromentuar performancën. Përfitimi i një modeli më të vogël është se kërkon më pak kohë për të kryer llogaritjet dhe për të gjeneruar një përgjigje.
Shërbimi mund të funksionojë në GPU jo shumë të fuqishëm dhe ka nevojë për afërsisht 8 GB RAM për të përpunuar kërkesat – kundrejt modeleve më të mëdha, të cilat kanë nevojë për GPU industriale të nivelit të lartë.
Ekipi i shkencëtarëve ka vënë në dispozicion punën e tyre përmes AI Hugging Face. Kur ata testuan KOALA-n, ajo gjeneroi një imazh të bazuar në kërkesën “një foto e një astronauti duke lexuar një libër nën hënë në Mars” në 1.6 sekonda. Sipas një deklarate, DALL·E 2 i OpenAI gjeneroi një imazh të bazuar në të njëjtën kërkesë në 12.3 sekonda, dhe DALL·E 3 e gjeneroi atë në 13.7 sekonda.
Shkencëtarët tani planifikojnë të integrojnë teknologjinë që ata kanë zhvilluar në shërbimet ekzistuese arsimore, prodhimin e përmbajtjeve dhe linjat e tjera të biznesit.
