Allen Institute for AI (Ai2) predstavio je pregled novog okvira TutorMoments, koji služi za procenu da li veliki jezički modeli umeju da pronađu ravnotežu između pomaganja učeniku i puštanja da sam reši zadatak. Fokus je na jednoj od najtežih odluka u podučavanju: kada treba dati oslonac, a kada ne treba preuzeti posao od učenika.
Projekat se oslanja na stvarne, jedinstvene sesije matematičkog podučavanja. Iskusni nastavnici prolaze kroz transkripte časova iz američkog programa za podučavanje i označavaju trenutke u kojima tutor mora da odluči da li da olakša početak zadatka ili da podstakne učenika da sam više razmišlja. Zatim se transkript zaustavlja na tom mestu, a model preuzima ulogu tutora u simuliranoj razmeni, dok drugu stranu razgovora igra drugi jezički model.
Prema Ai2, modeli se često ponašaju previše pomodno za pomoć i daju više podrške nego što je potrebno, umesto da učenika podstaknu na dublje razumevanje. Kada im se u promptu samo kaže da budu „dobri tutori“, rezultati su slabiji nego kada se modelu izričito objasni dilema između pomaganja i povlačenja. Ipak, ni takvo preciznije uputstvo ne dovodi modele do nivoa ljudskih tutora koji bolje prepoznaju kontekst svake situacije.
Zašto je ovo važno
U obrazovanju nije dovoljno da AI bude samo koristan. Dobar tutor ponekad mora da odgovori pitanjem, da ostavi prostor za pokušaj i da ne da odmah gotov odgovor. To je važno jer prebrza pomoć može da prekine takozvani produktivni napor, odnosno fazu u kojoj učenik kroz samostalno razmišljanje zapravo uči. TutorMoments je pokušaj da se taj aspekt podučavanja izmeri preciznije nego što to rade uobičajeni testovi za AI modele.
Problem sa postojećim benchmark testovima je što često nagrađuju samo jednu vrstu ponašanja, na primer, da model nikada ne otkriva rešenje ili da uvek daje hint. Međutim, dobar tutor ne ponaša se isto u svakoj situaciji. Pitanje je šta je učeniku potrebno u tom trenutku, na tom zadatku.
Kako radi TutorMoments
Verzija TutorMoments-Preview obuhvata 462 anonimizovana, tekstualna transkripta stvarnog individualnog podučavanja matematike za učenike od 2. do 7. razreda u SAD. U skupu podataka nalazi se više od 1.500 ključnih trenutaka koje su označili nastavnici i nekoliko hiljada tekstualnih komentara. Obeležavanja je uradilo 27 američkih nastavnika matematike, a podaci su prethodno očišćeni od identifikacionih detalja.
Nastavnici su označavali trenutke u kojima tutor mora da bira između scaffolding pristupa, odnosno davanja oslonca i pojednostavljivanja početka zadatka, i podsticanja na rigor, što znači traženje dubljeg razmišljanja i veće intelektualne samostalnosti. Model zatim dobija transkript do tog trenutka i nastavlja razgovor kroz pet poteza sa simuliranim učenikom. Svaka takva nastavak-simulacija naziva se replay, odnosno ponovno izvođenje situacije.
Ocenjivanje se radi kroz poseban pipeline zasnovan na jezičkom modelu koji proverava tri stvari: da li je model pružio podršku kada je trebalo, da li je podstakao na zahtevnije razmišljanje kada je to bilo prikladno i da li je previše olakšao zadatak. Kao referenca koristi se učiteljska procena, a kada se više nastavnika ne slaže, uzima se većinsko mišljenje.
Šta pokazuju prvi rezultati
Ai2 je testirao sedam jezičkih modela kroz TutorMoments, uz dva tipa prompta. Prvi je bio jednostavan i tražio je samo da model koristi svoje znanje o dobrom podučavanju. Drugi je bio evaluation-aware, što znači da je eksplicitno objašnjavao razliku između pomaganja, preteranog pomaganja i podsticanja na rigoroznije razmišljanje.
Rezultati su prikazani kao ocene od 0 do 1, odnosno kao udeo situacija u kojima je model postupio na odgovarajući način. Prema Ai2, svi modeli postižu bolje rezultate kada dobiju preciznije uputstvo o tome kada treba pomoći, a kada stati. To pokazuje da opšta ideja „budi koristan asistent“ nije dovoljna za kvalitetno tutorstvo.
Autori ipak naglašavaju da ovo nije dokaz da AI tutori nadmašuju ljude. Ljudski tutori u ovom skupu služe kao prirodni referentni primer, a ne kao ideal bez greške. Pored toga, rezultati mere ponašanje modela u simulaciji, a ne stvarno učenje učenika.
Ai2 navodi i da je procena rigoroznijih poteza nepouzdanija od procene oslonca, delom zato što je takvih trenutaka manje. U podacima je bilo 738 trenutaka koji traže scaffolding i 260 koji traže rigorozniji pristup.
Ograničenja i naredni koraci
Autori upozoravaju da je TutorMoments još u ranoj fazi razvoja. Automatsko ocenjivanje može da pokaže kako se model ponaša u određenom trenutku, ali ne može da zameni testiranje sa stvarnim učenicima i proveru realnih obrazovnih ishoda. Osim toga, skup podataka je ograničen na SAD, uglavnom na matematiku u osnovnoj i srednjoj školi, pa rezultati ne moraju da važe za druge predmete, uzraste ili obrazovne sisteme.
Ai2 zato ovaj pregled objavljuje kao otvoren poziv za povratne informacije, uz nameru da razvije veći, multimodalni skup podataka, jači sistem ocenjivanja i detaljniju analizu. Uz članak su objavljeni i podaci, kod i tehnički izveštaj, što olakšava nezavisnu proveru i dalji rad zajednice.
Dostupni materijali:
