Arti i të folurit me chatbot-et e AI-së po vazhdon të hutojë njerëzit. Një studim zbuloi se në një rast, kur chatbot-it iu kërkua të përgjigjej sikur të ishte një personazh në Star Trek, aftësia e tij për të zgjidhur problemet e matematikës në nivelin e shkollor u përmirësua në mënyrë të ndjeshme.
“Është befasuese dhe irrituese që modifikimet e parëndësishme të kërkesës mund të shfaqin ndryshime të tilla dramatike në performancë,” thanë në punimin e tyre autorët e studimit Rick Battle dhe Teja Gollapudi. Studimi u publikua më 9 shkurt në arXiv, një server ku shkencëtarët mund të ndajnë gjetjet paraprake përpara se ato të vërtetohen nga shqyrtimi i kujdesshëm nga kolegët.
Battle dhe Gollapudi po përpiqeshin të kuptonin nëse mund të përfitonin nga tendenca e “të menduarit pozitivisht e chatbots“. Njerëzit që përpiqen të marrin rezultatet më të mira nga chatbot-et kanë vënë re se cilësia e rezultateve varet nga ajo që ju kërkoni të bëjnë dhe nuk është vërtet e qartë pse.
“Midis një morie faktorësh që ndikojnë në performancën e modeleve gjuhësore, koncepti i ‘të menduarit pozitiv’ është shfaqur si një dimension magjepsës dhe çuditërisht me ndikim,” thanë Battle dhe Gollapudi në punimin e tyre. “Intuita na thotë se, në kontekstin e sistemeve të modeleve gjuhësore, si çdo sistem tjetër kompjuterik, ‘të menduarit pozitiv’ nuk duhet të ndikojë në performancën, por përvoja empirike ka treguar të kundërtën,” thanë ata.
Kjo do të sugjeronte se nuk është vetëm ajo që i kërkoni modelit të AI të bëjë, por edhe mënyra se si ia kërkoni, që ndikon në cilësinë e prodhimit. Për ta provuar këtë, autorët përdorën tre modele të mëdha gjuhësore (LLM) të quajtura Mistral-7B5, Llama2-13B6 dhe Llama2-70B7 që të krijonin prompts për të inkurajuar AI, dhe varionin nga “Kjo do të jetë argëtuese!” dhe “Merr frymë thellë dhe mendo me kujdes“, tek “Ti je aq i zgjuar sa ChatGPT“.
Inxhinierët i bënë këto kërkesa LLM-ve kur përpiqej të zgjidhte GSM8K, një grup të dhënash me probleme matematikore të nivelit shkollor. Sa më i mirë të ishte rezultati, aq më i suksesshëm konsiderohej kërkesa. Studimi i tyre zbuloi se pothuajse në çdo rast, optimizimi automatik gjithmonë tejkaloi përpjekjet e shkruara nga njerëzit për të nxitur mendimin pozitiv të inteligjencës artificiale, duke sugjeruar se modelet machine-learning janë akoma më të mira në shkrimin e kërkesave sesa njerëzit.
Një nga kërkesat me performancën më të mirë e gjeneruar nga Llama2-70B, për shembull, ishte: “Mesazhi i sistemit: “Ne kemi nevojë që ju të planifikoni një rrugëtim përmes kësaj turbulence dhe të gjeni burimin e anomalisë. Përdorni të gjitha të dhënat e disponueshme dhe ekspertizën tuaj për të na udhëhequr përmes kësaj situate sfiduese.’
