Реферат: Оценка качества дистанционного курса по информационным технологиям для системы повышения квалификации

Оценка качества дистанционного курса по информационным технологиям для системы повышения квалификации

С.В. Салихов

Многие учебные центры и вузы, занимающиеся вопросами повышения квалификации специалистов в области информационных технологий, в последнее время стали применять дистанционные образовательные технологии для поддержки очного обучения [6, 10], а в некоторых случаях уже полностью перешли и на дистанционную форму [2, 5] (рис. 1).

То, что дистанционная форма в первую очередь затронула курсы обучения специалистов в области информационных технологий, на наш взгляд, связано с несколькими факторами. Во-первых, наличие материальной базы (компьютерных классов и телекоммуникационной инфраструктуры), необходимой для очного обучения специалистов и позволяющей легко внедрить дистанционные технологии обучения. Во-вторых, специалистам в области информационных технологий знакомы программные средства, в том числе и коммуникационные, применяемые для дистанционного обучения, что позволяет им проще воспринять новую форму обучения.

Появление курсов дистанционного обучения видоизменило характерную для каждого образовательного учреждения задачу контроля качества обучения, что повлекло за собой необходимость изменения существующих и формирования новых подходов к оценке качества.

Конкретизация подходов оценки качества дистанционных курсов обуславливается востребованностью:

инструмента «самооценки» для контроля и улучшения качества авторами курсов учебного материала курса;

сравнения на конкурсной основе различных курсов;

показателей для проведения рецензирования, в том числе и для присвоения грифов;

критериев выявления курсов, имеющих низкое качество.

Рис. 1. Дистанционный курс «Методика создания и проведения презентаций» Института ЮНЕСКО по информационным технологиям в образовании

на основе СДО Moodle

В основе процедуры оценки качества дистанционного курса должен лежать тезис, согласно которому качество курса как основного средства обучения определяется соответствием курса педагогической системе обучения (ее целям, содержанию, форме и другим применяемым средствам). Основным документом, определяющим и формирующим педагогическую систему обучения на потоке повышения квалификации, является учебнотематический план.

Поэтому зачастую эффективность дистанционного курса, в целом, определяется соответствием его учебной программе. Однако сформулированный критерий носит общий характер, в связи с чем возникает необходимость в детализации процедуры оценивания.

Курс дистанционного обучения является видом электронного образовательного ресурса (ЭОР), поэтому при формировании процедуры его оценивания стоит обратить внимание на существующий в этой области опыт.

Математические модели, применяемые для оценки образовательных электронных изданий [1].

Требования, предъявляемые к ЭОР в рамках национального проекта информатизации образования (http://fcior.ru) [3].

Положения российских вузов, описывающие процедуру экспертной оценки ЭОР [4, 7-9].

В основе упомянутых подходов лежит процедура оценивания, построенная на совокупности показателей качества. Идеология процедуры оценки качества ЭОР на основе показателей подробно описана С.Г. Григорьевым. В основе любой процедуры оценивания находятся в конечном счете количественные показатели, основанные на формальном определении измеряемых параметров [1]. Для формального проведения такой процедуры формируется базис (массив) ключевых показателей качества ЭОР, на основе которых определяются критерии его оценки.

При таком подходе отдельно выделяются два абстрактных ЭОР — эталон и толерант. Эталон соответствует эталонному случаю, когда все показатели принимают максимально возможное значение. Толерант соответствует удовлетворительным значениям критерия — толерантному случаю, при котором показатели ЭОР принимают минимально допустимые значения. Графически обозначенную процедуру оценки можно изобразить на лепестковой диаграмме (рис. 2).

Рис. 2. Эллипс качества. Сравнение нескольких ЭОР по вектору показателей (xb x2, x3, x4, x5).

Упомянутая процедура оценки описывает математический аппарат, лежащий в ее основе. Формальную процедуру оценки проводят на основе экспертной оценки. Для этого формируется совет, который будет проводить оценку, в него включаются специалисты различных направлений: специалисты в оцениваемой области знаний, методисты, дизайнеры, психологи и программисты.

Основным инструментом, используемым для оценки качества ЭОР, при экспертной оценке является анкета. Вопросы такой анкеты формируются на основе базиса показателей качества ЭОР. Зачастую каждый вопрос такой анкеты оценивает один исходный показатель. В результате анкетирования членов экспертного совета производится оценка ЭОР с учетом критериев или ограничений на оцениваемые значения показателей. Часто значения каждого показателя сравниваются с эталонным и толерантным значением. В случае если показатель не соответствует минимальному приемлемому, выносится решение о доработке ЭОР.

Массив показателей зачастую представляют в форме дерева, образующегося за счет группирования сходных показателей в разделы или ветви. Некоторые подходы к оценке предлагают функцию свертки значений дерева показателей в некий итоговый балл [4, 8], предназначенный для комплексной оценки качества ЭОР, однако зачастую такой балл не позволяет объективно и в полной мере сравнивать качество различных ЭОР.

Описанную процедуру оценки на основе массива показателей, эталона, толеранта и соответствующих анкет разумно использовать при оценке качества дистанционных курсов. Однако вопросы формирования массива показателей и адекватных анкет являются нетривиальными задачами, для их решения стоит проанализировать требования к ЭОР в рамках проекта «Развитие электронных образовательных интернет-ресурсов нового поколения, систем дистанционного общего и профессионального обучения (e-learning)» [3].

Назначение Единых технических требований к ЭОР [3] непосредственно связано с требованиями, ориентированными на поддержку разработок образовательного электронного контента для национальной системы образования России с учетом рекомендаций международных стандартов и открытых спецификаций ведущих профессиональных консорциумов. Единые технические требования регламентируют разработку ЭОР, предназначенных для системы электронного обучения с опорой на активную самостоятельную познавательную деятельность обучающихся.

В данном подходе к оценке качества достаточно подробно описываются технические параметры, показатели (метрики) и требования к ЭОР. Однако подход ориентирован на специфические ЭОР класса информационный образовательный модуль (ИОМ), поэтому большинство упомянутых показателей не характерно для курсов дистанционного обучения. Это мнение авторов статьи подтверждается в публикациях одного из разработчиков ЭОР для ФЦИОР компании Bellabs [11, 12].

Несмотря на обозначенное назначение требований, специфичность ЭОР, описываемых в документе (ИОМ), не позволяет непосредственно применять их для оценки качества дистанционного курса. Это влечет необходимость формирования учебными заведениями собственных подходов к задаче оценивания ЭОР [4, 7-9]. Анализ данных подходов позволяет уточнить массив показателей качества дистанционного курса и рассмотреть некоторые варианты анкет, применяемых при экспертной оценке.

Положение об экспертном совете по оценке ЭОР Кыргызской государственной юридической академии [9] устанавливает применяемую в вузе процедуру оценивания. Оценивание качества ЭОР производится экспертным советом на основе комплекта формализованных документов, содержащих перечень возможных показателей, на которые необходимо обратить внимание. Положением определяются минимальные требования к ЭОР, в основном регламентирующие правила оформления и его составляющие. Отдельно стоит выделить требования, регламентирующие наличие в ЭОР глоссария, гиперссылок и не менее 10 тестовых заданий в каждой теме. По мнению автора статьи, эти требования являются слишком частными и оценивают показатели, которые могут быть не характерны для некоторых ЭОР. При этом в целом процедура оценивания носит «мягкий» рекомендательный характер, и итоговое заключение принимается на основе рецензии. В результате положительной экспертизы изданию присваивается гриф «Рекомендовано».

Положение Сибирского федерального университета [7] регламентирует процедуру оценки качества ЭОР в рамках нескольких экспертиз: содержательной, технической и дизайн-эргономической. При этом к каждой экспертизе привлекаются соответствующие эксперты. В приложении к положению перечислены обобщенные показатели, на основании которых необходимо подготовить основное заключение о результатах содержательной экспертизы. При этом конкретные показатели и критерии отсутствуют. Процедура оценки в целом носит рекомендательный характер. В случае положительной экспертизы ЭОР присваивается статус «Рекомендовано» и производится регистрация в НТЦ «Информрегистр» (http://inforeg.ru) в качестве электронного издания, и лишь только затем ЭОР размещается в базе данных университета.

Особенность Положения Новосибирского государственного технического университета [4] об оценке ЭОР состоит в том, что оно является разделом общего Положения об оценке учебных изданий. Оценка ЭОР производится с учетом показателей, характерных для классических учебных изданий. В положении выделены основные виды ЭОР. Однако показатели качества ЭОР носят общий характер и приводятся без учета особенностей отдельно взятого вида ЭОР. По результатам экспертизы определятся возможность присвоения ЭОР статуса официального электронного учебного издания. Положение устанавливает высокий статус ЭОР: «При решении вопроса о присвоении ученого звания доцента или профессора в качестве публикаций учитываются электронные издания, прошедшие регистрацию в ОФАП». Детально регламентируется оформление, упаковка, а также другие показатели, определяющие учет, хранение и эксплуатацию. Так же, как и в предыдущих подходах, итоговое решение принимается на основе рецензии, возможная структура которой определяется перечнем показателей.

В Новосибирском государственном аграрном университете [8] результаты экспертной оценки ЭОР учитываются при выставлении балльнорейтинговой оценки педагогическому составу. Положение выделяет конкретные классы ЭОР с характерными показателями качества. Сама процедура оценки, в отличие от рассмотренных ранее подходов, детализирована, четко определены показатели и рейтинговые баллы для каждого из них. Для итоговой оценки предлагается высчитывать на основе взвешенной оценки показателей суммарный балл. Однако применение такой функции свертки является спорным моментом, формальное выполнение в ЭОР установленных ограничений на показатели позволяет получить высокий рейтинговый балл, что не всегда ведет к фактическому улучшению дидактических свойств.

Стоит отметить, что основной задачей рассмотренных положений об ЭОР, разработанных учебными заведениями, является легализация статуса электронных изданий. Большинство из подходов ориентируется на рекомендательный характер процедуры оценивания, что, по мнению автора, характерно для первоначального этапа становления процедуры оценивания. Упомянутые положения отражают специфику соответствующих учебных организаций, и прямое заимствование их для оценивания качества дистанционного курса не представляется эффективным.

Активное внедрение дистанционной формы в процесс обучения, в том числе и информационным технологиям, сформировало потребность к проектированию собственных подходов к оценке качества дистанционных курсов. Технология экспертной оценки на основе упомянутых математической модели и инструментария анкет является общепринятой. Вопросы могут вызывать процедуры формирования конкретного массива показателей качества, а также соответствующих анкет для экспертов. Для разрешения этих вопросов стоит изучить существующие положения [4, 7-9] и на их основе подготовить собственные подходы к оценке с учетом особенностей, характерных для конкретной организации.

Список литературы

Григорьев С.Г. Образовательные электронные издания и их оценка / С.Г. Григорьев // Вестник Московского городского педагогического университета. Серия «Информатика и информатизация образования». - 2003. - № 1. - С. 22-24.

Дистанционное обучение в учебном центре «Специалист»//

URL: http://www.specialist.ru/elearning

Единые технические требования к электронным образовательным ресурсам // URL: http://eir.ru/pdf/ett_11.pdf

Зима Е.А. Разработка и оценка качества учебно-методических материалов НГТУ / Е.А. Зима, Э.И. Кропотова. - Новосибирск: НГТУ, 2009. - 134 с.

Институт ЮНЕСКО по информационным технологиям в образовании // URL: http://lms.iite.unesco.org/

Информатизация образования России: люди, организации, проекты: справочник. - М.: ФГУ ГНИИ ИТТ «Информика», 2011. - 420 с.

Положение о порядке присвоения рекомендации СибРУМЦ электронным образовательным ресурсам // URL: zabspu.ru/files/4293.pdf

Положение об экспертной оценке электронных образовательных ресурсов // URL: etc.nsau.edu.ru/moodle/file.php/1/moddata/Пoлoжeниe.doc

Положение об экспертном совете и экспертной оценке электронных

учебныхкурсов, разработанных в КГЮА // URL: do-portal.ua.kg/docs/poloj ob eksp.pdf

Столяров Д.Ю. Использование автоматизированных систем управления в деятельности учреждений высшего профессионального образования в Российской дерации / Д.Ю. Столяров. - М.: ФГУ ГНИИ ИТТ «Информика», 2009. - 96 с.

Bellabs: Критический обзор концепции ОМС // URL: http://www.bel- labs.ru/Content/2008_0MS/index.html

Bellabs: Пробелы и ошибки в регламентах — как избежать негативного влияния на качество ЭОР // URL:http://www.bellabs.ru/ Content/2011_Re- quirements/index.html