23 апреля в Юрайт.Академии прошла дискуссия «Достаем двойные листочки? Формирование интерактивного фонда оценочных средств» в рамках онлайн-конференции «Методики подготовки цифрового курса».

Фонд оценочных средств (ФОС) давно уже шагнул вперед: тесты проверяются автоматически, и результаты выгружаются мгновенно, избавляя преподавателей от лишней мороки. Но искусственный интеллект выбивает систему оценивания из колеи. Эксперты Юрайта обсудили критерии эффективного ФОС в эпоху нейросетей. 

«Фонд оценочных средств — это не статичный набор тестов»

Как известно, оценочные средства должны соответствовать определенным принципам: валидности, системности, комплексности, объективности и так далее. Важно, чтобы такие материалы четко отвечали целям обучения. Однако из-за возрастающего внимания к практическим навыкам выпускников стало ясно еще одно: ФОС должен быть ориентирован на решение индустриальных кейсов. Это подтверждает проректор по интеллектуальному образованию и развития капитала Университета ИТ ХАБ, доцент Московского городского педагогического университета, кандидат педагогических наук Наталья Автионова:

«Все задания для студентов должны быть из реального сектора деятельности. Важно давать то, что действительно пригодится им в профессии, например, конкретные кейсы». 

Отрасли науки развиваются, запросы работодателей расширяются, поэтому без систематического обновления оценочных средств не обойтись. «ФОС должен быть актуализирован минимум раз в год, все зависит от дисциплины и направления», — считает начальник Учебно-методического управления МИРЭА — Российского технологического университета, кандидат исторических наук, доцент Ольга Савка. За устаревшими сведениями и форматами сложно проследить, а оперативное исправление требует времени и сил. Многие преподаватели активно используют обратную связь студентов, чтобы повысить эффективность тестов и заданий. 

Также важно обновлять оценочные материалы, ориентируясь на тренды и актуальные проблемы сферы образования. Например, уже не раз эксперты замечали, что нейросети угнетают мыслительный процесс студентов, значит, необходимо делать упор на развитие у них аналитических навыков. «Фонд оценочных средств — это не статичный набор тестов, — напоминает заместитель директора — начальник Управления по координации научной и экспертно-аналитической работы Российского государственного гуманитарного университета, кандидат исторических наук, доцент Денис Вакарчук. — Основная задача разработчика ФОС — сместить акцент с оценки запоминания информации на проверку аналитических способностей и навыков критического мышления». 

Преподаватель играет в этом вопросе ключевую роль, именно он задает правильный вектор в процессе оценивания. «Без педагога мы не сможем построить образовательный процесс!» — уверена Наталья Автионова (Университет ИТ ХАБ, МГПУ). В этом ИИ никогда не сможет заменить фигуру преподавателя. 

«Иногда можно проводить короткие анкетирования»

ФОС должен содержать разные виды заданий. Ольга Савка (РТУ МИРЭА) рассказывает, на что нужно ориентироваться при разработке материалов:

«При выборе формата оценочных средств нужно понимать мотивацию студента. Если у него есть интерес к предмету, подойдут кейсы и творческие задания. Важно учитывать и когнитивную нагрузку студентов. Перегруз информацией снижает эффективность обучения».

Во многих вузах предусмотрены творческие проекты или стартапы, которые после защиты можно предложить коммерческим организациям. Такой подход становится все более востребован, поскольку способствует трудоустройству выпускников. «В нашем вузе ФОС формируется в форме конкретных проектов, — делится опытом Наталья Автионова (Университет ИТ ХАБ, МГПУ). — Мы объединили дисциплины в модули и комиссионно принимаем работы. Важный критерий — проект должен быть жизнеспособен на современном этапе».

Индустриальные партнеры тоже влияют на составление оценочных средств. Денис Вакарчук (РГГУ) замечает: «Работодатели ценят умение работать в команде. Поэтому фонд оценочных средств должен включать задания для проверки этой компетенции. В настоящий момент для работодателя важны не только профессиональные знания кандидатов, но и их гибкие навыки». Развить в сотруднике критическое мышление, лидерские качества, коммуникативные навыки и прочее намного сложнее, чем адаптировать его специализированные умения к рабочим функциям. 

Еще один фактор, который влияет на формирование ФОС, — это мнение студентов. Не все обучающиеся сознательно относятся к учебе, но всегда есть идущие к своей профессиональной цели. Отзывы и тех, и других очень важны преподавателю. По мнению Ольги Савки (РТУ МИРЭА), анализ обратной связи помогает улучшить тесты и задания: «Иногда можно проводить короткие анкетирования: какие форматы студенты хотели бы видеть в обучении? Возможно, стоит использовать гибридный дизайн. Полезно потом сравнить, какие форматы лучше воспринимаются».

«При использовании ИИ нужна разумность»

Цифровые технологии прочно вошли и в нашу обыденную жизнь, и в сферу образования. Они облегчают работу преподавателя и дают дополнительные возможности для творчества. «Сопротивляться прогрессу непрофессионально для современного педагога», — подтверждает Денис Вакарчук (РГГУ). 

Однако за результатами искусственного интеллекта важно пристально следить. Технология далеко не совершенна и часто выдает ошибки. «При использовании ИИ нужна разумность, — обращает внимание коллег Ольга Савка (РТУ МИРЭА). — Нейросети могут придумывать, поэтому важно заложить в студентов базовые теоретические знания». ИИ должен выступать дополнительным инструментом для обучения, а не способом поскорее сделать и сдать задание. 

Денис Вакарчук (РГГУ) подчеркивает, что успешное взаимодействие с нейросетями напрямую зависит от человека:

«Искусственный интеллект работает эффективно, когда пользователь хорошо разбирается в своей предметной области. Задача преподавателя — научить студентов использовать ИИ, понимать его возможности и ограничения, формулировать запросы и оценивать результаты».

Современный педагог не только передает знания, но и предлагает эффективные методы в их поиске. ИИ стал одним из них: он уже знает, как обрабатывать информацию, создавать шаблоны презентаций и систематизировать большие данные. Но что делать, если преподаватель сам еще не научился пользоваться этими возможностями? «Не все педагоги умеют использовать искусственный интеллект для генерации ФОС. Это проблема», — отмечает Наталья Автионова (Университет ИТ ХАБ, МГПУ). Чтобы решить этот вопрос, для педагогов организовывают вебинары, курсы и просто собрания, на которых можно обменяться опытом. Кстати, на Юрайте скоро стартует XVII Летняя школа преподавателя «Интеллект в цифровом образовании: естественный, искусственный, эмоциональный» (с 23 по 27 июня), где эксперты ведущих вузов страны расскажут об использовании новых технологий.

Тем временем у студентов противоположная проблема: они слишком хорошо знают, как работать с ИИ, но часто злоупотребляют цифровыми возможностями. Это приводит к снижению эффективности обучения. «Как оценить взаимодействие студента и искусственного интеллекта? — задается вопросом Денис Вакарчук (РГГУ). — Можно анализировать запросы студентов к большой языковой модели. Таким образом можно оценить аналитические способности обучающихся». 

Многие студенты ошибочно полагают, что с нейросетями работать легко. Но на самом деле это целая наука: необходимы четкие запросы, чтобы ИИ выдал удовлетворительный результат, а после этого самому его проверить. 

Оценочные материалы помогают контролировать прогресс обучения и выявлять недочеты в образовательном процессе. Как верно замечает Денис Вакарчук (РГГУ), ФОС — это не статичный набор тестов, а постоянно развивающаяся система, которая отвечает на вызовы времени.