Публикации сообщества

Людмила Рождественская • 1 декабря 2018

"Черный ящик" среды цифрового обучения

Учитель рассматривает цифровую среду, в которой работает ученик, и в которой учитель создает задания, как педагогически управляемую (pedagogically-driven). Он, в первую очередь, сам понимает ее устройство и механизмы заложенных в ней возможностей, одновременно осознает и ограничения ее использования. И, конечно, никак не считает ее некой данностью  - умным "черным ящиком"! Это чрезвычайно важно для нашего рассмотрения.

Таков контекст этой статьи: его важно обозначить в самом начале, хотя бы кратко. Речь в серии  статей пойдет об учителе - разработчике цифрового контента, который создает его с целью мониторинга действий ученика, в идеале - с целью проверки понимания им учебного содержания. А не только с целью "контроля знаний"! 

Таким образом, мы попробуем начать разговор об отношении учителя к цифровой среде, посредством которой он взаимодействвует с учеником... Взаимодействует сам учитель, а не "система"!

О ценностях "цифрового учителя"

Вот исходные ценности учителя, принявшего эту позицию*:

  1. Учитель сосредоточен не только на обеспечении собственного преподавания, он следит за процессом порождения знаний и  смыслов учащимися.
  2. Учитель становится не просто поставщиком контента, а тренером понимания.
  3. Различение учителем  "базовых знаний" и "понимания" важны не только для планирования учебной программы, но также в педагогическом плане.
  4. Учитель вовлечен в регулярный пересмотр единиц содержания учебной программы, что обеспечивает ее качество и эффективность.

* Пункты 1-4 основаны на материалах стандарта UNDERSTANDING BY DESIGN® FRAMEWORK

Рассматриваемая нами в этом посте модель - модель смешанного обучения - такая, в которой часть учебной деятельности организована в цифровой среде. И установки учителя - автора контента - в процессе создания им учебных материалов растут из тех же ценностей, из которых он исходит в  своей работе с учениками в оффлайне, то есть, в очном взаимодействии.  

Через совместное проектирование в профессиональном сообществе учитель участвует в процессе разработки, создания и тестирования цифровых учебных материалов.

Учитель рассматривает цифровую среду, в которой работает ученик, и в которой он создает задания, как педагогически управляемую (pedagogically-driven), а не как некую данность - "черный ящик"!

Дальше речь пойдет о цифровых материалах и системах с обратной связью, которые помогают учителю отслеживать действия ученика в цифровой среде. Учитель сам или на основе размещенных в открытом доступе  прототипов создает учебные активности нового типа. Какие они? Попробуем разобраться...

 Почему цифровой формат -  это не тесты?

Риски использования тестов

Часть учебного процесса и оценивания мы теперь все чаще делегируем машинным системам, поэтому хорошо бы осознавать все риски, связанные с уровнем экспертности таких систем. Пока он оставляет желать лучшего: множественные  ошибки в закрытых ответах, произвольные варианты ответов, которые могут предлагаться из совсем разных логик, быть не рядоположенными. Речь о тех цифровых средах, основу которых сейчас составляют тесты. Тестовые задания разрабатывают люди, часто, такие же учителя, как и мы. И ошибки неизбежны. Доверять таким системам оценку знаний учеников пока можно лишь с осторожностью.

Цель троечника - обмануть тестовую систему!

Тест как попытка оценки знаний имеет свои, довольно серьезные ограничения. Ученик, цель которого просто пройти тест с минимальным результатом, практически всегда это может сделать, не вникая в суть задания, простым случайным "тыком" в один из предложенных вариантов ответов. Тем, кто начал работать с такими системами, хорошо известно, что часть учеников при прохождении теста именно так и поступает.  То есть думает не о задании, а о том, как угадать правильный ответ, по сути, как провести систему. Процент правильных ответов, полученный в разных ситуациях тестирования, свидетельствует как раз о таком способе прохождения тестов учениками. Они могут вообще не читать вопросов и не разбираться в условии задания.

Тест - система без достаточной обратной связи

"Дешевый" тест (на разработку которого ушло мало времени и ресурсов) выдает, как правило, только процент правильно выполненных заданий. Такой тест не является удовлетворительным инструментом проверки знаний не только для слабых, но и для сильных, мотивированных учеников. Обычный тест не дает развернутой обратной связи ученику и не показывает, в чем именно тот ошибся, какие понятия или умения им не освоены. Для учителя выдаваемые цифры также собирают некие средние показатели, которые еще нужно правильно интепретировать, что не всегда возможно.

Поэтому тесты не должны стать преобладающей формой взаимодействия ученика с компьютером! И учителя с учеником - через компьютер. А если уж они и используются, то ученикам, кроме полученных ими процентов за тестовые задания, хорошо бы показывать, что их попытки обмануть систему могут быть видны через общую статистику ответов. Только поможет ли это?

Короткие выводы

  • Тесты - часть оценивающих процедур, должны быть составлены в той же логике, в которой строится преподавание и обучение: работа с учебным материалом, способ им овладения. А часто бывает так: обучение в одной логике, а готовые тесты, взятые откуда-то, - совсем в другой.
  • Являются ли тесты подходящим средством проверки знаний? Только очень хорошие, грамотно составленные тесты, на разработку которых затрачено достаточно ресурсов (компетенций). И далеко не для всех учеников.
  • Конечно же, ни о какой фиксации ученического понимания в тестовых проверках речь идти не может! Это пока - системы без полноценной обратной связи.
  • Образовательный опыт, который получают ученики, общаясь с компьютером посредством тестов, очень беден, его никак нельзя считать насыщенным и достаточным, если говорить о качественном смешанном обучении.
  • Главный риск использования тестов при организации обучения в цифровой среде - имитация учебной деятельности. Видимая занятость учеников есть, а результатов, в очень большом проценте случаев, нет. 

Учитель и "черный ящик" цифровой среды

Есть и определенные психологические установки, которые можно наблюдать на практике. Учителя, для которых проверка большого количества ученических заданий, является утомительной, тяжелой работой, уже сейчас готовы и часто делегируют эту часть своей работы компьютеру и цифровой среде. Вроде бы, этого и добивались, внедряя "цифру" в образование - избавить учителя от рутины проверок?

Но, по разным причинам, под цифровой средой и онлай-работой учеников в ней, чаще, чем нужно, имеются в виду именно тесты и только они. Может быть, потому, что те, кто их продвигает, не имеет представления о возможном разнообразии действия и взаимодействия ученика с цифровой средой?

Об эффекте "демонизации" цифровой среды

Лишь иногда тесты составляют сами учителя, чаще используются готовые пакеты и системы. И какими-то непостижимым образом формируется и особое отношение к этим системам. Вроде бы, понимая все несовершенство таких систем, учитель, тем не менее, отдает им чуть больше прав, чем предполагает здравый смысл. Здесь имеется в виду, что учитель сначала переоценивает сложность и качество таких систем. Но потом он готов всё свалить на них. Всё - это недостаточный уровень показателей выполненных тестов. Получается, что и недостатки собственного обучения... 

Это и есть чистая "демонизация" цифровой среды: одаривание ее теми признаками и свойствами, которых у нее нет, и наши завышенные ожидания от нее.

Какие данные мы собираем и зачем?

А тем временем данные из таких тестовых систем поступают к школьному администратору - завучу, который делает выводы о качестве обучения уже на своем уровне анализа, полагаясь на выданное и обработанное системой. Не удивительно:  это ведь так для всех удобно! А мы при этом не забываем ли, что этот "искусственный интеллект" пока весьма далек от совершенства?

Все описанное -  и есть отношение, когда мы готовы спрятаться за некую цифровую систему, наделяя ее свойствами "черного ящика" с самописцами внутри, которые "лучше знают", что, какие данные, нужно собирать и как ими распорядиться. А потом в изумлении смотрим на экран и удивляемся результатам. Чего при этом мы можем не осознавать, каковы риски такого отношения, написано выше...

    Поищем другие форматы!

    Нам следует искать и другие форматы для цифрового обучения. Хорошим примером здесь могут быть активности в специальных средах, которые устроены несколько иначе - сложнее, чем тестовые системы. Они отличаются от тестовых тем, что позволяют увидеть не только процент выполнения, но и часто - ход рассуждений ученика, попытки решения. И в которых ошибки ученика позволяют учителю оценивать уровень его понимания и, в то же время, по характеру ошибок самому проанализировать, какой может быть причина  ученического непонимания...

    Один из их неизбежных минусов таких систем:  результат труднее обрабатывать, поскольку в  подобном отслеживании действий учеников пока больше "человеческого”, а не машинного участия. Системы эти развиваются и со временем удается все больше проверки автоматизировать.

    Но сейчас для нас не эти вопросы являются главными, а  модель того, каким может быть НЕтестовое задание. И каковы педагогические цели составления таких заданий и активностей? Только ли контроль усвоения? Раз уж мы говорим о педагогически управляемом процессе...

    И, дальше, как вообще организовать цифровую часть смешанного обучения, какие есть возможности для того, чтобы ученик не спрятался  для нас  за "правильный ответ"? Ведь за таким ответом может скрываться как случайное попадание, так и непонимание.

    Об этом в продолжении...

     Ссылки по теме из архива Галактики:

    Об организации смешанного обучения в предметной области математики

    Кол-во комментариев: (12)

    Людмила Рождественская
    Принцип же такой - делать свое, используя хорошие инструменты и опираясь на лучшие практики. Поэтому процесс долгий. Нужно создать, апробировать, описать. Но будут обязательно и кое-что уже в процессе обработки...
  • Войдите или зарегистрируйтесь, чтобы оставлять комментарии
  • Татьяна Панкова
    Людмила Рождественская Училась у Вас составлять листы с заданиями на развитие навыков функционального чтения. Я от данного вида работы в восторге! Мои ученики 4 года работали по данному направлению. ВПР сдали успешно! Вы считаете данные листы цифровым обучением, когда они в интернете и используют игровые ситуации? Пример: https://docs.google.com/document/d/1l1Jgyu6UklT24shlxvAWjIfkSThi9P0BNLc…
  • Войдите или зарегистрируйтесь, чтобы оставлять комментарии
  • Михаил Коломийцев
    В своей практике широко использую возможности цифровой среды, Мне иначе нельзя, обучение детей дистанционное. Практически в каждом уроке применяю ЭОРы с различными целями, а не только для проверки знаний. В основном для понимания учебного материала. От тестов из печатных изданий ушёл по простой причине. Ответы на такие тесты есть в сети. Дети с лёгкостью находят на них ответы. Создаю тесты сам на основе учебника. Быстрого ответа ученики в сети не найдут и начнут читать параграф. Применяю формы опроса Google, так легко проверить выполненные задания. Системы с автоматической проверкой заданий, например - Test Pad, не использую. Планы по совершенствованию своего труда имеются. Остаётся все хорошо обдумать и применить на практике.
  • Войдите или зарегистрируйтесь, чтобы оставлять комментарии
  • Людмила Рождественская
    Михаил, поддержу вашу мысль: описанное вами - верное направление содержательной педагогической работы учителя. Тогда и будет богатый образовательный опыт общения ученика с цифровой средой, его грамотная работа в цифровой среде и использования им среды как инструмента для решения учебных задач. Не среда НАД учеником и учителем, а среда - в руках учителя для работы с учениками.
  • Войдите или зарегистрируйтесь, чтобы оставлять комментарии
  • Инга Тихоновецкая
    Очень нужная статья. Важна и нужна для понимания того, что мы педагоги делаем! Делаем во всех смыслах! Мы ходим по острию ножа. Главное - умение "удержаться".
  • Войдите или зарегистрируйтесь, чтобы оставлять комментарии
  • Лада Сащенко
    Трудности не только в отказе от тестов, вкупе с огромными массивами готовых, легкостью оценивания, простотой "натаскивания". Приходится перестраиваться сразу по многим направлениям, и не только самому педагогу, но менять отношение к процессу обучения учеников, родителей, администрации: 1) огромное количество времени, интеллектуальных и порой физических затрат на освоение новых продуктов и способов подачи материала, новых методик и технологий, в которых очень много компонентов, многие из которых нельзя упустить ни в коем случае. 2) Новые формы работы неизбежно требуют другого контента. Просто так взять материал из классического учебника и впихнуть его в новую платформу не получится. Нужно заново писать тексты и придумывать задания. Как, например, в задачнике по географии Ивана Колечкина. Это грандиозный труд, а еще и умение. И этого умения у многих нет. И оно не приходит свыше, а достигается самообразованием, самостоятельным освоением и обдумыванием грандиозных пластов информации. на это опять-таки не все способны, тем паче забесплатно и в личное время. 3) первые попытки внедрить что-то новое неизбежно приведут к пробуксовке в изучении материала по заранее утвержденному плану, именно потому, что дети встретятся с новыми формами работы, а у учителя нет собственного реального опыта работы по-новому, чтобы просчитать риски. Надо быть готовым к этому, иметь запасные варианты или продумывать, как же все-таки добиться первого положительного эффекта. 4) консерватизм учеников и родителей может привести к активному отторжению и протестам против новых форм. осваивание чего-то нового ВСЕГДА сопряжено с кризисом, это диалектика. Если у нас до 5, а то 7 лет дети ходят в памперсах, ибо дитеночек не хочет приучаться к унитазу, а родители не желают травмировать неокрепшую детскую психику, то задания, которых нет в ГДЗ, для которых нет ответов на "ОТветы на мэйл. ру", которые не может решить репетитор и которых - точно - нет в ОГЭ-ЕГЭ тем более вызовут неприятие. Как следствие - жалобы на все уровни. И даже если дети будут увлеченно работать в новой модели, родители, снизойдя раз в месяц до контроля и ничего не понимая (ибо они учились иначе) первыми побегут жаловаться. К этому нужно быть морально, психически и физически готовым. 5) непредсказуемость процесса и результата. Да, это Черный ящик, Людмила Рождественская очень точные слова подобрала. Поэтому сказать, что происходит в то время и в той деятельности, которая скрыта от глаз учителя, мы не можем. И результат может быть любым. И отказоустойчивость системы - тоже проблема. Насколько работоспособной будет среда, если по каким-то причинам убрать какие-то компоненты? А если это разовый отказ? А если системный? Проблемы с интернетом в отдельно взятом микрорайоне в течение суток? трех? недели? Двум детям в классе родители не позволяют дома выходить в интернет, запостили свое мнение в соцсеть и к ним присоединились еще пяток-десяток? Школа ждет крутую проверку и для перестраховки закрутила гайки на контент-фильтре? Школу ждет тестирование через три дня, ау учителя дети только-только начали работать по-новому, только врабатываются, результаты пойдут, ног примерно через неделю? Гигиенисты вдруг опомнятся, или еще кто-то и внезапно введут хронометраж времени работы с гаджетами-компьютерами-проектором? Министр образования категорически с завтрашнего дня отменит гаджеты? А послезавтра все иностранные образовательные порталы? 6)Черные ящики не бывают сами по себе. Они даже не основной элемент системы. И поэтому смешанное обучение не может внедряться в безвоздушном пространстве. Вокруг педагога-новатор - люди. Коллеги, начальство. Непонимание ими современных концепций в лучшем случае приведет к тому, что у учителя, внедряющего инноватику, не будет группы поддержки. В худшем - откровенное неприятие, очернение, "палки в колеса". Тем не менее, несмотря на трудности, лично я иного пути не вижу. Хотя бы потому что реальная жизнь уже обросла огромным количеством устройств и программ, без этого уже не обойтись. И не включать в школьную жизнь эти реалии по меньшей мере глупо. ребенок на 11 лет погружается на полдня в школьную среду, в еще полдня у него проходит в реальной жизни за стенами школы, и при этом делать вид, что школа может быть отсечена от окружающего мира герметичными оболочками не пропускающими никаких современных объектов, в том числе и проблем? В социуме слишком много примеров, когда люди, вышедшие из закрытой системы - из армии, после длительного пребывания в больнице, приехавшие из удаленного малонаселеного места или из мест заключения - теряли себя и начинали себя вести неадекватно только потому, что привыкли жить в другом мире, на всем привычном, готовом и предсказуемом и не могут принять изменяющийся мир и встроиться в него. Извините за многабукафф. Но я об этом долго и давно думала, а пост Людмила Рождественская оказался тем самым запалом.
  • Войдите или зарегистрируйтесь, чтобы оставлять комментарии
  • Людмила Рождественская
    Лада, спасибо! Все точно. Вы точно дополнили образом: мы одну несовершенную систему (администриативно-управленческо-учебную) пытаемся подстраховать "черным ящиком" цифровой среды. Но, с другой стороны, наш звездолет уже влетел... И разбираться с управлением придется на лету.
  • Войдите или зарегистрируйтесь, чтобы оставлять комментарии
  • Оксана Иодко
    Вступлю в дискуссию, потому что есть, что сказать. Цифровые инструменты на сегодняшний день не испробовал разве что ленивый или безразличный или "темный" учитель ) И т.к. каждый думает о своей выгоде, то - да, сначала нам учителям кажется, что используя тесты мы очень облегчаем свою контролирующую функцию, в разы сокращаем время проверки,а ученикам, в свою очередь, нужно максимальную отметку получить, и не важно, каким способом они будут ответы вносить.Никаких образовательных целей мы при таком раскладе достигнуть не сможем((( Но если изменить цель использования цифровых инструментов: не контроль, а диагностика, с последующей дифференцированой организацией работы учащихся на уроке, то все меняется. Я за 20 лет работы учителем-предметником не научилась читать мысли учеников, не умею определять уровень подготовки к уроку каждого из них за 10 минут! На сегодняшний день мне помогают это сделать именно цифровые инструменты! Если, перед началом теста или викторины онлайн в начале урока не пугать, что будет оценка, а объяснить ученикам, что от результатов теста зависит то, чем они будут на уроке заниматься, какие задания будут выполнять, то и страх у них отступает, и желание подсмотреть или угадать ответ исчезает. Опять же, ни одно бумажное задание не даст эмоций после проверки, а онлайн викторины изобилуют и мемами прикольными и турнирными таблицами, это очень живой отклик у детей вызывает! Еще один пример, тест/задание на распечатанные несколько раз одно и то же выполнять как-то глупо, а вот цифровой тренажер,(например e-Treniki) интересно и несколько раз пройти (это я по отзывам учащихся сужу). Для Igor Konstantinov скажу, что у меня раньше были такие мысли: "Ну, конечно, на предмете истории/математике/биологии/литературе и т.д. много чего можно сделать, а вот на моей химии, где изучаются такие объекты, которые ни потрогать, ни увидеть нельзя, это о-го-го как невозможно ..." Отмазка! Чтобы ничего не менять! Убеждена!. Благодарю Людмилу Рождественскую за выступление на ITE 2018, потому что поняла, что уже перехожу из учителя читающего и пробующего, в учителя желающего делиться своим собственным опытом 🙏
  • Войдите или зарегистрируйтесь, чтобы оставлять комментарии