Министерство образования и науки Российской Федерации
Министерство образования Саратовской области
Национальный исследовательский Саратовский государственный университет имени Н.Г. Чернышевского
Саратовский областной институт развития образования
Комитет по информатизации Саратовской области
Комитет по образованию администрации муниципального образования «Город Саратов»
Автономная некоммерческая организация «Информационные технологии в образовании»
Автономная некоммерческая организация «Научно-исследовательский центр «Образование. Качество. Отрасль»»
IX Всероссийская (с международным участием) научно-практическая конференция
«Информационные технологии в образовании»
«ИТО-Саратов-2017»
2-3 ноября 2017 года, г. Саратов

Оценка адекватности моделей формирования компетенций, построенных на основе метода статусных функции

Авторы: Вешнева Ирина Владимировна 1, Кандидат физико-математических наук, Доцент, Прокофьева Лариса Петровна 2, Большаков Александр Афанасьевич 3, Почётный работник высшего профессионального образования, д.т.н., проф.
1 Саратовский национальный исследовательский государственный университет имени Н. Г. Чернышевского, 2 Заведующая кафедрой русского языка как иностранного СГМУ имени В.И. Разумовского , 3 профессор кафедры систем автоматизированного проектирования и управления СПбГТИ(ТУ),
Для критериально-ориентированных тестов проведенный анализ результатов, полученных при определении значений характеристик результирующей СФ набора сформированных компетенций, таких как математическое ожидание, показало соответствие результатов вычисления и мнения эксперта.

Формирование компетентностного подхода в системе образования связана с разработкой моделей оценивания результатов обучения.

Процедура оценивания обычно состоит из трех этапов: определение параметров контроля результатов обучения, выполняемое до начала, собственно, контроля компетенций; сбор, анализ и преобразование данных, получаемых в процессе контроля; определение оценки (распознавание). В настоящее время существует множество разных математических моделей и подходов, описывающих стадии процесса контроля результатов обучения [1]. Математические методы оценки результатов обучения могут быть представлены следующими классами [1-6]: оценки уровня обучения; диагностико-классификационные; психолого-прогностические; социофизические. Модели социофизики представляются более предпочтительными для широкого применения в экспертных системах оценки результатов обучения. К последнему классу следует отнести метод статусных функций (СФ), подробно описанный в работе [5].

Поставим задачу проверки адекватности применения метода СФ на основе сравнения оценок на основе вычисления интегральных моментов СФ и оценок преподавателя.

1. Проведем формирование списка оцениваемых компонент компетенций.

К1.1. Участие в диалоге, ответ на реплику собеседника.

К1.2. Начать беседу.

К1.3. Завершить беседу.

К1.4. Спрашивать и сообщать информацию: задавать вопрос или сообщать о факте, событии, человеке, предмете.

К3.5. Отстаивать личную позицию, добиваться понимания.

К3.6. Постоянно повышать личную квалификацию.

К3.7. Адаптироваться к новым ситуациям.

К3.8. Этико-деонтологические нормы.

К3.9. Позиционирование принадлежности профессиональному кругу.

2. Введем систему оценок: Оценка#1 производится по 5-ти восходящим уровням: познавательный, практический, репродуктивный, продуктивный, исследовательский. Оценка#2 относится к личностно-мотивационной компоненте и оценивается преподавателем интуитивно по 3-м уровням – пассивный, декларативный, активный.

3. Проведем оценивание в группе 17 студентов, изучающих русский язык как иностранный в течение года, после прохождения десятимесячных подготовительных курсов по русскому языку. Это группа студентов из разных стран Африки и Юго-Восточной Азии обучалась у одного преподавателя. Вычислим среднее значение оценок преподавателя за год обучения и проведем ранжирование оценок преподавателя (табл. 1, столбец «Ранг по экспертным оценкам»).

4. Вычислим весовые коэффициенты методу, описанному в [7] и сформируем результирующие СФ за весь период обучения.

5. Проведем вычисление математического ожидания для СФ и ранжирование оценок на основе значений математического ожидания СФ (табл. 1, столбец «Ранг по математическому ожиданию СФ»).

6. Проведем проверку адекватности использования метода СФ на основе определения степени соответствия с оценками экспертов. Для  этого вычислим коэффициент конкордации Кендалла [8]:

здесь n – число оцениваемых компетенций (в примере 17); k– число способов оценивания (в примере 2 способа: экспертный и метод СФ); rij– ранг i-ой компетенции определённый j-м методом.

Вывод: оценки на основе СФ хорошо соответствуют мнению квалифицированного эксперта. При оценке результатов таких тестов целесообразно использовать экспертные весовые коэффициенты, которые позволяют выявить глубину полученных знаний. Для критериально-ориентированных тестов проведенный анализ результатов, полученных при определении значений характеристик результирующей СФ набора сформированных компетенций, таких как математическое ожидание, показало соответствие результатов вычисления и мнения эксперта. Значение коэффициента конкордации 0,77 подтверждает достаточно высокую степень согласованности предложенного метода оценкам экспертов. Причем значения эмпирических и теоретических критериев Пирсона равны 24,64 и 23,54, соответственно, для уровня значимости 0,1. 

 

Табл. 1  –  Ранги значимости оценок компетенций

Номер компетенции

Ранг по экспертным оценкам

Ранг по математическому ожиданию СФ

1.     К1.1

4

21

2.     К1.2

1

2

3.     К1.3

14

27

4.     К1.4

9

6

5.     К1.5

13

26

6.     К1.6

5,5

20

7.     К1.7

21

5

8.     К1.8

27

22

9.     К1.9

17

18

10.                       К1.10

3

3

11.                       К1.11

20

17

12.                       К1.12

25

24

13.                       К1.13

26

25

14.                       К2.1

16

12

15.                       К2.2

10

4

16.                       К2.3

2

1

17.                       К2.4

18

8

18.                       К2.5

11

11

19.                       К3.1

7

9

20.                       К3.2

22

23

21.                       К3.3

12

15

22.                       К3.4

19

19

23.                       К3.5

22

13

24.                       К3.6

5,5

7

25.                       К3.7

15

14

26.                       К3.8

8

10

27.                       К3.9

24

16

(1)

Список использованных источников
  1. Зайцева, Л.В. Модели и методы адаптивного контроля знаний [Электронный ресурс] / Л.В. Зайцева, Н.О. Прокофьева // Educational Technology & Society. (Международный электронный журнал) – № 7(4). – 2004. / Режим доступа: http://ifets.ieee.org/russian/depository/v7_i4/html/1.html
  2. Проскурнин, А.А. Математические модели оценки знаний / А.А. Проскурнин // Интеллектуальные технологии и системы. Сборник учебно-методических работ и статей аспирантов и студентов. Выпуск 7. / Сост. и ред. Ю.Н. Филипповича. – М.: Изд-во ООО «Эликс+», 2005. – С. 197-210.
  3. Глебова, Л.Н. Мониторинг качества высшего педагогического образования: монография. / Л.Н. Глебова, М.Д. Кузнецова, В.Д. Шадриков. – М.: Логос, 2012. – 367 с.
  4. Берестнева, О.Г. Системные исследования и информационные технологии оценки компетентности студентов: дис….д-ра техн. наук: 05.13.01 / Берестнева Ольга Григорьевна. – Томск – 2007. – 356 с.
  5. Вешнева, И.В., Метод обработки и интерпретации данных измерения взаимодействий в образовательной среде на основе статусных функций / И.В. Вешнева, Т.Б. Чистякова, А.А. Большаков // Труды СПИИРАН. Выпуск № 6 (49) , 2016. С. 144-166.
  6. Вешнева, И.В. Комплексная система бально-рейтинговой оценки знаний иностранных студентов / И.В.Вешнева, А.Ю.Беляева, А.Д.Левицкая, Л.Г.Перова, Л.П.Прокофьева // Инновации в современном медицинском образовании. Саратов – 2010. – C.43-45.
  7. Вешнева, И.В. Примеры применения знакопеременных функций принадлежности для оценки общекультурных и профессиональных компетенций / И.В.Вешнева, Л.Ю.Стрелюхина // Вестник Саратовского государственного технического университета. – 2012. – Т. 2. № 1. – С. 136-144.
  8. Фёрстер, Э. Методы корреляционного и регрессионного анализа. Руководство для экономистов. Перевод с немецкого и предисловие В. М. Ивановой / Э.Фёрстер, Б.Рёнц. М.: "Финансы и статистика", 1983. – 304 с.
Ключевые слова  статусные функции, оценка адекватности модели, коэффициент конкордации Кендалла

В статусе «Черновик» Вы можете производить с тезисами любые действия.

В статусе «Отправлено в Оргкомитет» тезисы проходят проверку в Оргкомитете. Статус «Черновик» может быть возвращен тезисам либо если есть замечания рецензента, либо тезисы превышают требуемый объем, либо по запросу участника.

В статусе «Рекомендован к публикации» тезис публикуется на сайте. Статус «Черновик» может быть возвращен либо по запросу участника, либо при неоплате публикации, если она предусмотрена, либо если тезисы превышают требуемый объем.

Статус «Опубликован» означает, что издана бумажная версия тезиса и тезис изменить нельзя. В некоторых крайне редких ситуацих участник может договориться с Оргкомитетом о переводе тезисов в статус «Черновик».

Статус «Отклонен» означает, что по ряду причин, которые указаны в комментариях к тезису, Оргкомитет не может принять тезисы к публикации. Из отклоненных тезис в «Черновики» может вернуть только Председатель программного или председатель оргкомитета.