8.2. КАЧЕСТВО ДИСТАНЦИОННОГО ОБУЧЕНИЯ

Как для оценки качества, так и управления качеством дис­танционного обучения (например, для улучшения процесса об­щения между тьютором и студентом) могут -эффективно исполь­зоваться хорошо известные на Западе принципы тотального уп­равления качеством (Total Quality Management — TQM).

При подходе TQM в системе дистанционного''обучения эко­номистов уже принимают, например, следующую многоуровневую систему показателей качества образования:

• оценка знаний студентом учебных дисциплин;

• уровень системной компетентности (например, понимание взаимосвязи социальных и экономических проблем);

• уровень компетентности в оптимальном распределении ре­сурсов;

• уровень компетентности в работе с информацией (например, умение интерпретировать информацию, использовать для обработки информации компьютер);

• оценка умения писать, говорить и слушать;

• оценка умения творчески мыслить;

• оценка таких качеств, как личная ответственность и комму­никабельность;

• оценка умения работать в командах, обучать других и веси, переговоры.

Методически обоснованным инструментом контроля качества обучения служат педагогические тесты. Под педагогическим те- стом (называемым также тестом достижений) понимается сис­тема тестовых заданий, составленных по определенным формам, позволяющая измерить уровень обученности студентов, совокуп­ность их представлений, знаний, умений и навыков в конкрет­ной предметной области.

Педагогический тест, содержание которого определяется преподавателем, должен охватывать все основные положения дисциплины (содержательная валидность теста), позволять диф­ференцировать студентов относительно минимального и макси­мального результатов теста (дискриминативность), обеспечивать устойчивые, воспроизводимые результаты тестирования (надеж­ность).

С развитием информационных технологий повсеместное рас­пространение получило компьютерное тестирование. К его до­стоинствам относятся:

• возможность автоматизации процесса сбора, обработки, хра­нения и представления результатов тестирования;

• удобство реализации различных алгоритмов формирования те­стов и их предъявления студентам — использование генера­тора случайных чисел, адаптивное тестирование (то есть гиб­кий механизм предъявления, учитывающий ответы студента на предыдущие задания, что помогает избежать многократ-я ного предъявления студенту слишком легких для него или, напротив, заведомо невыполнимых тестовых заданий);

• возможность создания таких тестовых заданий, которые прак­тически не могут быть реализованы без компьютера. Применение инновационной компьютерной формы тсстиро-1

вания в дистанционном обучении (ДО) как нельзя более умест­но, поскольку сама дистанционная технология немыслима безу компьютерной поддержки. Поэтому в ДО преимущественно ис­пользуются программно-педагогические тесты. Они могут быть реализованы либо в виде самостоятельных тестирующих про­грамм, либо как обособленные модули в составе электронных средств обучения. В комплексной кейс-технологии тестирующие модули выступают составной частью компьютерных обучающих программ (КОПР), представляющих собой мультимедийные ди­алоговые программные средства учебного назначения по отдель­ным дисциплинам, используемые студентом при самостоятель­ном освоении учебного материала. Как правило, студенту пред­лагается набор контрольных вопросов по каждой теме дисциплины, а по завершении изучения материала студенту может быть пред­ложен также и комплексный итоговый тест.

Создание тестов предполагает совместное творчество препо­давателя-предметника и методиста системы ДО (преподаватель знает, что надо проверять, а методист знает, как это сделать).

Особое методологическое значение имеют вопросы коррект­ного составления тестовых заданий как основы для формирова­ния программно-педагогических тестов.

Тестовое задание — это корректно поставленный вопрос, на который студент должен тем или иным способом, определяемым формой задания, дать правильный ответ. Вопрос должен быть однозначным, понятным, по возможности кратким, не содержать отрицаний или слов типа «иногда», «часто», «все», которые мо­гут вносить двусмысленность или неопределенность.

Иногда в тестовом задании приводится не вопрос, а некото­рое незаконченное утверждение, которое следует завершить тем или иным способом.

Весьма желательно, чтобы в учебном материале не содержа­лась в явном виде формулировка тестового вопроса с ответом на него (то есть задания «на понимание» предпочтительней заданий «на запоминание», хотя следовать этой рекомендации в тестах достижений не всегда удается).

Из существующих форм тестовых заданий для компьютерного тестирования наилучшим образом подходят следующие:

• закрытая, предполагающая выбор одного или более вариан­тов ответа из числа предложенных;

• на установление правильной последовательности;

• на установление соответствия между двумя предложенны­ми множествами;

• открытая с ограничениями на ответ, предполагающая в ка­честве ответа ввод одного или нескольких чисел или слов. Задания должны быть составлены таким образом, чтобы ве­роятность угадывания правильного ответа была минимальна.

При составлении тестовых заданий учитывается специфи­ка их компьютерной реализации. Например, задания на уста­новление соответствия могут быть представлены в матричной форме (рис. 8.9), когда от студента требуется расставить, где надо, метки, а могут потребовать и передвижения значков на экране с помощью мышки (drag-and-drop) с целью помещения их в определенные поля.

В задании по дисциплине «Экономическая география», при­веденном на рис. 8.10. требуется расположить условные значки гидроэлектростанций на географической карте региона.

Относительно использования открытой формы тестовых за­даний в КОПР необходимо знать, что ответ на них должен быть сформулирован самим обучаемым. Однако если ограничения на ответ будут отсутствовать, то тестирующая программа в общем случае не сможет определить его правильность (анализ ответа, например, по ключевым словам может привести к неверному заключению). Поэтому установление определенных ограничений в заданиях открытой формы оправдано и не лишает их ценнос­ти. Например, вместо вопроса «В какой оценке в балансе отра­жаются остатки товаров?» уместнее включить формулировку: «Остатки товаров в балансе отражаются по ... ценам».

Другое дело, что форма вопроса, предполагающего свобод­ный ответ, весьма привлекательна, так как позволяет контроли-

Рис. 8.10. Пример компьютерной реализации комбинированного тестового задания (на установление соответствия плюс открытая форма с ограничением на ответ)

ровать усвоение знаний не только на уровне распознавания, но и на более высоких уровнях — воспроизведения, умения, интер­претации, синтеза. В качестве компромисса в этом случае в со­ставе КОПР (или в дополнение к ней) используют несколько специальных заданий (практических ситуаций, итоговых конт­рольных заданий, рефератов), требующих развернутых ответов студента, но в состав программно-педагогического теста такие задания не включаются.

Тестовые задания группируются в тесты в порядке возрас­тания их сложности. Предлагается нескольких вариантов тес­тов (так называемых параллельных форм), примерно равных по сложности и количеству тестовых заданий. При предъявлении студентам конкретных тестов из достаточно большой общей тестовой базы они формируются случайным образом.

Педагогические тесты применяются не только для контроля знаний (что составляет основное их назначение), но и для са­моконтроля. В последнем случае студент после выполнения та­кого теста получает сведения об успешности своих действий, то есть о том же уровне усвоения знаний. Другое дело, что после окончания самоконтроля через некоторое время студент может вернуться к заданиям, на которые давал неправильные ответы, попробовать снова ответить и тем самым проверить себя и т.д. Таким образом, в тестовых заданиях для самоконтроля в соста­ве КОПР присутствует и элемент тренажа, обучения, чего нет в контрольных тестах достижений.

Количество заданий в программно-педагогическом тесте выбирается таким, чтобы обеспечить статистическую достовер­ность результатов тестирования. Так, в комплексе КОПР по об­щим и специальным дисциплинам базовых экономических спе­циальностей («Бухгалтерский учет, анализ и аудит», «Финансы и кредит») для студентов всех курсов ВЗФЭИ содержится 8434 тестовых задания. Ниже приводится расшифровка количества тестовых заданий в КОПР по дисциплинам 1-го — 5-го курсов (табл. 8.1). I

Объем контрольных тестов достижений по каждой дисцип­лине таков, что время, затрачиваемое «среднестатистическим» студентом на его выполнение, не превышает 1,5-2 часов.

Окончательное заключение о валидности, дискриминативно- сти, а также надежности педагогических тестов делается только после их апробации на статистически значимой выборке студен­тов. Для официального подтверждения качества программно- педагогических тсстов проводится их сертификация в специали­зированных структурах Минобразования РФ. Работы по серти­фикации программных модулей (предназначенных для контроля или самоконтроля уровня усвоения учебного материала), а так-

же комплексных КОПР, включающих такие модули, выполня­ются в Отраслевом фонде алгоритмов и программ Минобразо­вания РФ, аккредитованном в системе РОСИНФОСЕРТ в ка­честве испытательной лаборатории. Кроме того, сертификацию качества педагогических тестовых материалов осуществляет Ис­следовательски й центр проблем качества подготовки специали­стов при СТАНКИНс как головное учреждение в системе Мин­образования по этому вопросу.

Тем не менее применение даже сертифицированных тес­тов в системе ДО, при всем удобстве организации описанно­го выше компьютерного тестирования, не может пока заме­нить очную аттестацию. Аттестация студентов ДО должна про­водиться, как правило, преподавателем путем очного приема экзаменов и зачетов, а результаты компьютерного тестирова­ния должны учитываться им при допуске студентов к зачету или экзамену.

Исследования, проведенные в процессе всероссийского эк­сперимента в области дистанционного образования, показали, что при технологии ДО качество подготовки специалистов в эко­номическом вузе практически не отличается от качества обу­чения, полученного при использовании традиционных техно­логий.

Для ответа на вопрос об эффективности инновационных средств ДО были проанализированы результаты анонимного опроса студентов первого курса в одном из представительств ВЗФЭИ, которые после изучения всех дисциплин курса с исполь­зованием КОПР ответили на вопросы анкеты «Дистанционное обучение глазами студента». Оценка различных сторон КОПР проводилась ими по пятибалльной системе.

Анализ показал следующее:

1. Доходчивость изложения теоретического материала

2. Степень полезности самоконтроля

3. Наглядность изложения материала

4. Удобство работы с контролирующими заданиями

5. Роль КОПР в освоении изучаемого материала