Министерство образования и науки Российской Федерации
Министерство образования Саратовской области
Национальный исследовательский Саратовский государственный университет имени Н.Г. Чернышевского
Саратовский областной институт развития образования
Комитет по информатизации Саратовской области
Комитет по образованию администрации муниципального образования «Город Саратов»
Автономная некоммерческая организация «Информационные технологии в образовании»
Автономная некоммерческая организация «Научно-исследовательский центр «Образование. Качество. Отрасль»»
IX Всероссийская (с международным участием) научно-практическая конференция
«Информационные технологии в образовании»
«ИТО-Саратов-2017»
2-3 ноября 2017 года, г. Саратов

РЕАЛИЗАЦИЯ АДАПТИВНОГО ТЕСТИРОВАНИЯ ПО ТЕМЕ «ЭЛЕМЕНТЫ МАТЕМАТИЧЕСКОЙ ЛОГИКИ» С ИСПОЛЬЗОВАНИЕМ НЕЙРОННЫХ СЕТЕЙ

Авторы: Бибичева Татьяна Сергеевна 1, Макарова Ксения Игоревна 2
1 Саратовский национальный исследовательский государственный университет имени Н. Г. Чернышевского, 2 Филиал ООО «Эпам Систэмз» в городе Саратов

Развитие тестирования как метода психолого-педагогической диагностики началось в 19 веке. В настоящее время тестирование интенсивно применяется в педагогических целях, в том числе и для диагностики результатов учебной деятельности студентов вузов [1].

Одной из проблем в развитии тестирования является недостаточная надёжность оценок, получаемых с помощью распространённых моделей тестирования знаний. Решить эту проблему позволяет использование адаптивного тестирования 

Адаптивное тестирование (АТ) – разновидность тестирования, при котором порядок предъявления заданий зависит от ответов испытуемого на предыдущие задания. АТ позволяет повысить эффективность контрольно-оценочных процедур за счет индивидуализации процедуры тестирования, что, в свою очередь, приводит к увеличению точности измерений, минимизации числа заданий и времени на контроль.

Возможность применения АТ на практике связана с необходимостью разработки математических моделей и алгоритмов автоматизированного АТ, а также с реализацией этих моделей и алгоритмов средствами современных информационных технологий [2-4].

В данной статье будет  представлено web-приложение, позволяющее реализовать АТ по теме «Элементы математической логики» с использованием  FANN C# – библиотеки для работы с нейронными сетями в среде .NET на языке С# [5].

В приложении используются тестовые вопросы закрытой формы, в которых среди предложенных ответов лишь один правильный. Каждому пользователю при входе в систему предлагается авторизоваться посредством ввода логина и пароля, после чего осуществляется переход к основной части – вопросам теста.

Тема «Элементы математической логики» разделена на 5 основных разделов:  базовые операции; законы алгебры логики; построение таблиц истинности; диаграммы Эйлера; другое. Внутри каждого раздела вопросы разделены на три категории по уровням сложности: лёгкие; средней сложности; повышенной сложности. Всего база содержит 105 вопросов. В каждом разделе по 8 легких и средних вопросов, 5 вопросов повышенной сложности.

Примеры вопросов из раздела «Базовые операции»:

Лёгкий вопрос:

Логическое умножение

1.     Конъюнкция

2.     Дизъюнкция

3.     Импликация

4.     Эквивалентность

Вопрос средней сложности:

При каких значениях X, Y и Z выражение X→Y&Z ложно?

1.     X = 0, Y = 0, Z = 1

2.     X = 0, Y = 1, Z = 1

3.     X = 1, Y = 0, Z = 1

4.     X = 1, Y = 1, Z = 1

Вопрос повышенной сложности:

При каких значениях X, Y и Z выражение ¬ (XY)(Z&Y+X) ложно?

1.     X = 0, Y = 0, Z = 1

2.     X = 0, Y = 1, Z = 0

3.     X = 1, Y = 1, Z = 0

4.     X = 1, Y = 0, Z = 1

Тестирование начинается с вопроса средней сложности раздела «Базовые операции». После каждого ответа пользователя анализируется, необходимо ли изменить уровень сложности, а также можно ли определить уровень знаний в данном разделе.

Решение об изменении уровня сложности для текущего пользователя принимается на основе двух предыдущих ответов по следующим правилам:

1)      если пользователь дал правильные ответы на текущий и предыдущий вопросы, сложность следующего вопроса повышается;

2)      если пользователь допустил ошибку в одном из двух последних вопросов, уровень сложности следующего вопроса остается неизменным;

3)      если пользователь дал неверные ответы на текущий и предыдущий вопросы, уровень сложности следующего вопроса понижается.

В свою очередь решение о том, освоен ли текущий раздел пользователем, принимается в ходе анализа частот правильных ответов на вопросы каждого уровня сложности (частоты начинают учитываться только после прохождения пользователем не менее 5 вопросов). Частоты высчитываются по формуле: количество верных ответов на вопросы определенной сложности разделить на общее количество ответов пользователя. При этом:

1)    если частота для какого-либо уровня превышает 0.7, то считаем, что данный раздел пользователем освоен на этом уровне сложности, и переходим к следующему разделу с уровнем сложности предыдущего раздела;

2)    если показатель частоты, необходимый для перехода к следующему разделу, не был достигнут, а вопросы текущего раздела закончились, то текущий раздел считаем завершенным на уровне сложности с максимальной частотой правильных ответов (при совпадении частот для нескольких уровней делаем выбор в сторону уровня более низкой сложности).

По завершении тестирования собирается результирующая информация по разделам и анализируется. Для каждого раздела имеем значения достигнутого уровня знаний и частоты, с которой данный уровень достигнут:

1)    если значение частоты больше или равно 0.7, раздел был завершен программным путем, считаем достигнутый уровень корректным;

2)    если значение частоты меньше 0.7, раздел был завершен по причине отсутствия вопросов необходимого для продолжения тестирования уровня сложности. В этом случае при значении частоты, меньшим 0.5, считаем достигнутый уровень знаний некорректным и уменьшаем его значение на 1. Может возникнуть ситуация достижения низкого уровня знаний со значением частоты, меньшим 0.5. Для её обработки при оценке результатов вводится специальное значение достигнутого уровня, указывающее на то, что результат прохождения теста неудовлетворительный.

В итоге высчитывается средний уровень прохождения теста по всей  теме – низкий, базовый, продвинутый или специальное значение.

Решения об изменении сложности вопросов в рамках раздела и переходе пользователя к следующему разделу принимаются с использованием нейронной сети, реализованной средствами библиотеки FANN C#.

При создании нейронной сети для системы АТ был задан следующий набор параметров:

  • Входной слой (5 нейронов): правильность ответа на N-й вопрос раздела; правильность ответа на (N - 1)-й вопрос раздела; частота правильных ответов на лёгкие вопросы; частота правильных ответов на вопросы средней сложности; частота правильных ответов на вопросы повышенной сложности.
  • Промежуточный слой (5 нейронов). Число нейронов промежуточного слоя подобрано экспериментальным путём при исследовании влияния способа обучения нейронной сети на эффективность АТ.
  • Выходной слой (3 нейрона): информация об изменении уровня сложности в рамках текущего раздела (-1 – понижаем сложность, 0 – оставляем текущую сложность, 1 – повышаем сложность); информация о том, можно ли считать данный раздел освоенным (>= 0.7 – раздел освоен, < 0.7 – раздел не освоен); информация о том, на каком уровне сложности данный раздел считается освоенным (-1 – лёгкий, 0 – средний, 1 – повышенной сложности).
  • В качестве функции активации используется гиперболический тангенс.
  • Для обучения нейронной сети используется алгоритм обратного распространения ошибки со стохастическим градиентным спуском.

Следует отметить, что разработанное  приложение получилось шаблонным, и его можно применять для проведения АТ и по другим темам. Для этого необходимо обновить список вопросов, присвоив им примерный уровень сложности.

В дальнейшем планируется провести ряд исследований предложенной модели адаптивного тестирования: сопоставимость результатов, полученных в ходе адаптивного тестирования, с результатами, полученными при классическом тестировании; влияние способа определения весов тестовых заданий на адекватность оценки уровня знаний студентов и скорость тестирования.  Также планируется: расширить тематику, тип и набор тестовых заданий; добавить в приложение возможность хранение результатов тестирования для каждого пользователя с целью формирования сводных отчетов.

Разработка web-приложения, позволяющего реализовать АТ по теме «Элементы математической логики» с использованием нейронных сетей, проводилась в рамках командной работы над дипломными и курсовыми проектами в IT-сфере [6] под руководством доцента кафедры информатики и программировании Саратовского национального исследовательского государственного университета имени Н.Г. Чернышевского Кудриной Е.В.

Список использованных источников
  1. Балакирева, Е.И. Использование Moodle для дистанционного тестирования учебных достижений студентов вузов/ Е.И. Балакирева, Е.В. Кудрина//Материалы Международной научной конференции, посвящённой 100-летию СГУ «Компьютерные науки и информационные технологии» -Саратов: Изд-во Сарат. ун-та, 2009. – С. 19-22.
  2. Метод разработки алгоритмов адаптивного тестирования [Электронный ресурс]. URL: http://cyberleninka.ru/article/n/metod-razrabotki-algoritmov-adaptivnogo-testirovaniya (дата обращения: 01.09.2017).
  3. Данг, Х.Ф. Метод разработки алгоритмов адаптивного тестирования [Электронный ресурс] URL: http://cyberleninka.ru/article/n/metod-razrabotki-algoritmov-adaptivnogo-testirovaniya (дата обращения: 01.09.2017).
  4. Горюшкин, Е.И. Использование нейросетевых технологий в адаптивном тестировании по информатике в вузе: автореф. дис. … канд. пед. наук/ Е.И. Горюшкин. – Москва, 2009. – 23с.
  5. Fast Artificial Neural Network Library [Электронный ресурс]. URL: http://leenissen.dk/fann/wp/ (дата обращения: 01.09.17).
  6. Артемов, В.В., Борзов И.А., Кудрина Е.В., Лукашова М.А. Командная работа над дипломными и курсовыми проектами в IT-сфере/ В.В. Артемов, И.А. Борзов, Е.В. Кудрина, М.А. Лукашова// Информационная образовательная среда образовательной организации как ресурс совершенствования технологий реализации ФГОС: материалы Межрегиональной научно-практической конференции. 14 сентября 2017 года. – Липецк: ГАУДПО ЛО «ИРО», 2017. – с.117-119.
Вид представления доклада  Устное выступление и публикация

В статусе «Черновик» Вы можете производить с тезисами любые действия.

В статусе «Отправлено в Оргкомитет» тезисы проходят проверку в Оргкомитете. Статус «Черновик» может быть возвращен тезисам либо если есть замечания рецензента, либо тезисы превышают требуемый объем, либо по запросу участника.

В статусе «Рекомендован к публикации» тезис публикуется на сайте. Статус «Черновик» может быть возвращен либо по запросу участника, либо при неоплате публикации, если она предусмотрена, либо если тезисы превышают требуемый объем.

Статус «Опубликован» означает, что издана бумажная версия тезиса и тезис изменить нельзя. В некоторых крайне редких ситуацих участник может договориться с Оргкомитетом о переводе тезисов в статус «Черновик».

Статус «Отклонен» означает, что по ряду причин, которые указаны в комментариях к тезису, Оргкомитет не может принять тезисы к публикации. Из отклоненных тезис в «Черновики» может вернуть только Председатель программного или председатель оргкомитета.