Представете си добър учител в момента, в който ученик даде грешен отговор. Учителят не казва просто „грешно“. Той разпознава грешката — виждал я е десетки пъти — и се досеща какво стои зад нея. Знае и какво да направи: да зададе насочващ въпрос, да върне един урок назад или просто да изчака, защото ученикът е на крачка да се сети сам.
В този кратък момент работят три вида знание: за предмета, за конкретния ученик и за самото преподаване. Когато казваме, че искаме изкуствен интелект, който „преподава“, всъщност питаме: може ли машина да носи тези три вида знание? И — по-трудното, с което се занимава дисертацията ми — как това знание да бъде записано в нея така, че тя да може да разсъждава с него?
Знанието за предмета: мрежа, а не купчина
Първата изненада е, че да „знаеш“ учебния материал не значи да помниш фактите в него. Учебният предмет не е списък, а мрежа. „Цикъл“ в програмирането стъпва върху „променлива“ и „условие“ — няма как да разбереш първото без другите две. Добрият учител носи тази мрежа наум: знае кое върху кое стъпва, откъде може да се влезе и къде обикновено се къса нишката.
В интелигентните системи за обучение това е моделът на предметната област. Представя се по различни начини: като понятийна карта — граф от понятия и връзки от рода на „изисква“, „част е от“, „пример е за“; като набор от правила; като списък от умения със зависимости помежду им. Общото между всички подходи е едно: знанието е структура, а не текст. Именно затова системата може да прави изводи — „ученикът бърка X, а X стъпва върху Y, значи първо да проверим Y“.
Има и по-неочаквана част: системата трябва да „знае“ и погрешното. Опитният учител познава типичните заблуди — например ученика, който е убеден, че цикълът първо се изпълнява и чак после се проверява условието. Такива погрешни представи също се описват и каталогизират, защото грешката е най-информативният сигнал, който ученикът изпраща.
Знанието за ученика: карта, която непрекъснато се преначертава
Системата не вижда в главата на ученика. Вижда само това, което той прави: отговори, решения, време за мислене, поправки. От тези следи трябва да прецени какво всъщност е разбрано — и това е може би най-деликатната част от цялата задача.
Най-разпространеният подход е изненадващо прост: взимаш картата на предмета и я „оцветяваш“ за конкретния ученик. Това понятие е показано уверено, онова — колебливо, за трето още няма данни. Всяко следващо решение преначертава картата по малко.
Тук има несигурност и тя не бива да се крие. Верният отговор не доказва разбиране — може да е налучкан. Грешният не доказва незнание — може да е разсеяност. Затова по-добрите системи не пазят просто „знае / не знае“, а степен на увереност, която се покачва и спада с всяко наблюдение. Точно както опитният учител си казва: „Мисля, че го разбра, но ще му дам още една задача, за да съм сигурен.“
Знанието как се преподава: кога да се намесиш и кога да замълчиш
Третият вид знание е най-невидимият. Дори предметът да е описан перфектно и картата на ученика да е точна, остава въпросът: какво правим сега? Даваме ли подсказка? Колко голяма? Казваме ли отговора? Или мълчим, защото точно това затруднение е продуктивното — онова, от което ученикът има нужда в момента?
Добрата помощ е дозирана. Дойде ли твърде рано и в твърде голяма доза, ученикът се научава да чака наготово. Дойде ли твърде късно — отказва се. Изкуството е в стълбичката: първо намек, после насочващ въпрос, после частичен пример и чак накрая решение. В системите за обучение това са правилата, които превръщат „какво знае ученикът“ в „какво правим сега“.
А не решиха ли големите езикови модели всичко това?
Честният отговор: не, но промениха играта. Моделите зад съвременните чатботове „знаят“ изумително много и обясняват търпеливо, на разбираем език — нещо, за което класическите системи за обучение можеха само да мечтаят.
Но знанието им е неотделимо от текста, върху който са обучавани. Не можеш да отвориш модела и да попиташ: „Кои понятия владее този ученик и с каква увереност?“ Не можеш надеждно да провериш защо е подсказал точно това, а не друго. В образованието „защо“ не е лукс — учителят и родителят имат право на този отговор.
Затова посоката, която ми се струва най-смислена — и върху която работя — не е „или–или“, а разделение на труда. Структурираното знание дава скелета: картата на предмета, модела на ученика, правилата за намеса. Езиковият модел дава езика: обяснението, тона, търпението. Системата решава какво да направи и може да покаже защо; моделът облича решението в думи.
Лабораторията: реални ученици, реален код
Всичко дотук може да звучи теоретично, затова изследването ми има и втора половина: CodeGrade — системата за автоматична проверка на код, която разработвам и използвам в реално обучение по програмиране. Там всяка от горните идеи среща действителността: реални ученици, реални решения, реални грешки.
Автоматичната проверка обикновено казва „минава / не минава“. Но провалилият се тест е много повече от червен ред — той е следа. Ученикът, чийто цикъл винаги превърта веднъж повече, не просто е „сгрешил задачата“ — най-вероятно не е разбрал границите на условието. Ако системата разпознае това, защото тази заблуда е описана в модела ѝ на предмета, обратната връзка се превръща от присъда в преподаване.
И така — какво трябва да „знае“?
Предмета — като мрежа от понятия, включително типичните погрешни представи. Ученика — като карта върху тази мрежа, преначертавана с всяко решение, с честно отчитане на несигурността. И преподаването — като решения кога, колко и как да се намесиш.
Но има и четвърто изискване, и то е сърцевината на дисертацията ми: това знание трябва да е представено така, че системата да може да разсъждава върху него — а ние, хората, да можем да проверим разсъждението ѝ.
Една система за обучение преподава толкова добре, колкото добре е представено знанието, върху което стъпва.
Останалото е инженерство.