Apple GPT mund të vijë shumë më shpejt seç mendonim në iPhone-t tonë. Inxhinierët në Apple tregojnë se kanë bërë një përparim shumë të rëndësishëm drejt ofrimit të modeleve të mëdha të gjuhësore (LLM) në iPhone dhe pajisje të tjera të Apple me memorie të kufizuar duke shpikur një teknikë inovative të përdorimit të memories flash.
Chatbot-et si ChatGPT zakonisht kërkojnë sasi të mëdha memorie për të funksionuar, gjë që është një sfidë për pajisjet si iPhone-t që kanë kapacitet të kufizuar memorie. Për të zgjidhur këtë problem, studiuesit e Apple kanë krijuar një teknikë të re që përdor memorien flash – të njëjtën memorie ku ruhen të dhënat aplikacionet dhe fotot tuaja – për të ruajtur të dhënat e modelit të AI.
Në një punim të ri kërkimor të titulluar “LLM in a flash: Efficient Large Language Model Inference with Limited Memory“, autorët vërejnë se hapësira ruajtëse është më e bollshme në pajisjet celulare sesa RAM-i i përdorur tradicionalisht për ekzekutimin e LLM-ve. Kjo metodë e anashkalon me zgjuarsi kufizimin duke përdorur dy teknika kryesore: Windowing dhe Row-Column Bundling.
Kombinimi i këtyre metodave lejon që modelet e AI të shfrytëzojnë deri në dyfishin e madhësisë së memories së disponueshme të iPhone, sipas studimit. Kjo përkthehet në një rritje 4-5 herë të shpejtësisë në procesorët standardë (CPU) dhe 20-25 herë në procesorët grafikë (GPU).
Apple thuhet se po zhvillon modelin e vet gjenerues të AI të quajtur “Ajax“. I krijuar për të rivalizuar GPT-3 dhe GPT-4 të OpenAI, Ajax operon në 200 miliardë parametra, duke sugjeruar një nivel të lartë kompleksiteti dhe aftësie në të kuptuarit dhe gjenerimin e gjuhës.
