Реферат: Методика проведения тестирования и оценивания результатов тестирования в рамках единой государст

Методика проведения тестирования и оценивания результатов тестирования в рамках единой государственной системы

Барышникова Е . Н . Ельникова СИ .

В настоящее время выработан единый методический подход к проведению государственного тестирования по русскому языку как иностранному. Параллельно разрабатывалась методика проведения тестирования в нескольких вузах страны: в Санкт-Петербургском го­сударственном университете, Московском государственном универ­ситете, Российском университете дружбы народов и Государствен­ном институте русского языка им. А.С.Пушкина. Суть ее состоит в следующем.

Порядок организации подготовительного и основного этапов те­ стирования. Государственное тестирование граждан зарубежных стран по русскому языку организуется и проводится Головным цент­ром тестирования граждан зарубежных стран по русскому языку Ми­нистерства образования Российской Федерации совместно с учреж­дениями и организациями, которым приказом Министерства разре­шено проведение тестирования. Тестирование проводится в рамках российской государственной системы тестирования граждан зару­бежных стран по русскому языку, его порядок определяется Положе­нием о государственном тестировании граждан зарубежных стран по русскому языку как иностранному на всех уровнях, утвержденным приказом Министерства от 19.01.98 № 88. Согласно этому Положе­нию в настоящее время тестирование проводится по шести сертифи­цируемым уровням владения русским языком как иностранным (об-Щее владение и с учетом профессиональной направленности), а также По некоторым специальным вспомогательным направлениям. К про­ведению тестирования и оценке его результатов допускаются только Преподаватели и специалисты, имеющие квалификационное удостоверение о получении специальной подготовки. Проведению тестиро­вания на местах предшествует заключение Договора между Головным центром тестирования и региональным, локальным центром тестиро­вания. Сама процедура тестирования в настоящее время разработана достаточно подробно. Она устанавливает порядок организации и проведения подготовительного этапа к тестированию, собственно процедуры тестирования и оценки результатов.

Подготовительный период включает в себя следующие компоненты:

• рекламно-агитационные мероприятия;

• формирование групп тестируемых по уровням;

• документальное и техническое сопровождение процесса тести­рования.

Желающие пройти тестирование должны заполнить регистраци­ онную карточку, после чего каждому тестируемому присваивается индивидуальный регистрационный номер из числа номеров, заранее переданных Головным центром региональному центру тестирования. Тестируемые производят оплату, кроме тех случаев, которые специ­ально оговариваются Головным центром. После оплаты тестируемый получает пропуск на экзамен и регистрационную карточку. Кандида­ ты, проходящие тестирование,

распределяются по отдельным груп­пам в соответствии с уровнями, по которым проводится тестирова­ние; каждой группе предоставляется отдельная аудитория. Перед на­чалом работы над тестами ответственные лица проводят инструктаж на русском языке и, желательно, на родном языке тестируемых либо на английском языке. Они разъясняют порядок заполнения матриц ответов по формализованной части текста, порядок проведения тес­тирования по неформализованной части теста, оговаривают вопросы соблюдения дисциплины при тестировании.

Время начала и окончания теста фиксируется, нарушение времен­ного регламента не допускается.

Во время проведения тестирования каждому кандидату предоста­вляется отдельное место, которое организуется в соответствии с тре­ бованиями гарантированного индивидуального выполнения теста.

При неоднократном нарушении дисциплины тестируемый удаля­ется из аудитории, этот факт заносится в протокол тестирования, день­ги за тестирование не возвращаются.

В процессе прохождения тестирования кандидату разрешается пользоваться только ручкой и тестовыми материалами, предоставляемыми Центром тестирования. Кандидаты, проходящие тест по чте­нию и письму (элементарный, базовый и первый уровни), имеют пра­во пользоваться двуязычным словарем; кандидаты, проходящие тес­тирование по чтению и письму (II и III уровни), имеют право пользо­ваться только толковым словарем.

Выполненные тесты проверяются в региональных центрах тести­рования. Субтесты по чтению, аудированию и субтест по лексике и грамматике оцениваются специалистом с помощью контрольных ли­стов-матриц. Каждый тест по говорению и письму оценивается двумя специально подготовленными экзаменаторами, работающими под контролем руководителя регионального центра тестирования. Тест по говорению «сдается» индивидуально или в парах и принимается дву­мя экзаменаторами. При этом ведется обязательная аудиозапись от­ ветов кандидатов. Оценки вносятся в рейтерские таблицы и отправ­ляются в региональный центр тестирования.

Установлен определенный порядок оформления и выдачи доку­ ментов по итогам тестирования. В соответствии с Положением о тес­тировании лицам, прошедшим тестирование, выдаются следующие государственные документы:

• сертификат соответствующего уровня общего владения русским языком как иностранным с приложением, содержащим оценки от­дельных разделов теста;

• свидетельство о прохождении тестирования по русскому языку с учетом профессиональной направленности (соответствующего уровня) с приложением;

• справка, выдаваемая лицам, не набравшим по итогам тестирова­ния необходимое для получения сертификата или свидетельства чис­ло баллов, с указанием результатов по отдельным разделам теста.

Все перечисленные документы должны быть заблаговременно по­лучены Центром тестирования в соответствии с процедурой, преду­смотренной существующей Инструкцией, окончательно же они оформляются Центром тестирования и выдаются лицам, прошедшим тестирование, не позднее, чем через одну педелю после окончания те­стирования. В некоторых исключительных случаях в порядке, преду­сматриваемом специальным пунктом Договора, Головной центр мо­жет делегировать Центру тестирования права оформления документа По итогам тестирования непосредственно на основании регистраци­онных карточек тестируемых.

Центры тестирования регулярно отчитываются перед Головным центром об использовании бланков соответствующих документов как документов строгой отчетности.

Проверка и контроль. Проверка и контроль проводятся следую­щим образом. Предварительно результаты в форме оценок выстав­ляются в группах тестирования, после чего материалы по тесту и вы­ставленные оценки предоставляются в региональные центры тести­рования, где подтверждается их адекватность. Совет Консорциума и Головного центра тестирования осуществляет постоянный контроль за точностью и объективностью выставляемых оценок, исходя из анализа собранных данных, поступающих от региональных центров

тестирования.

Б случае несогласия с оценкой результатов кандидат имеет право обратиться в Апелляционную комиссию, которая действует в соот­ветствии с Положением об Апелляционной комиссии.

Специально хотелось бы обратить внимание на мероприятия, га­рантирующие секретность проведения тестирования. Тестирование проходит в строго назначенное время и в строгом соответствии с раз­работанными правилами. В местах, где печатаются материалы тести­рования, должны строго соблюдаться требования секретности.

Периодически производятся инспекции региональных центров те­стирования и групп тестирования как части системы контроля за ка­чеством и секретностью.

Методика подведения итогов тестирования и критерии оценки ре­ зультатов тестирования в рамках единой государственной системы.

Говоря о подведении итогов и критериях оценки результатов тестиро­вания, прежде всего необходимо определить объекты оценки.

При решении коммуникативных задач иностранец должен уметь вербально реализовывать

• простые (на первых уровнях),

• сложные (на более высоких уровнях) речевые интенции,

• а также блоки речевых интенций, которые моделируют собствен­но коммуникативный процесс, регулируют поведение и взаимодейст­вие коммуникантов, выражают их оценочные позиции.

В первую очередь это контактоустанавливающие интенции, та­кие как умение вступать в коммуникацию, инициировать и поддерживать беседу, изменять ее тему и ход, завершать ее адекватно ситуа­ции общения.

В зависимости от коммуникативной задачи тестируемому следу­ет уметь реализовывать регулирующие интенции - способность по­буждать собеседника к действию и реагировать на побуждение, ин­ формативные интенции - способность запрашивать о событиях и фактах, условиях, целях, причинах, дополнять, выяснять, уточнять расспрашивать; оценочные интенции - способность выражать и выяснять интеллектуальное отношение, давать морально-этиче­скую, рациональную, социально-правовую и эмоциональную оцен­ки суждениям.

Иностранец должен уметь ориентироваться и реализовывать ком­муникативные намерения адекватно своему социальному статусу в социально и психологически значимых ситуациях и сферах - соци­ально-бытовой, социально-культурной, официально-деловой, соци­ально-политической. Соответственно, для каждого сертифицируемо­го уровня достаточно подробно сформулированы и требования к ре­чевым умениям (см. государственные стандарты по РКИ).

Вслед за определением объектов оценки, необходимо выделить ее параметры, определить шкалу оценок и принципы подсчета баллов.

В рамках тестирования оценке подвергаются все виды речевой де­ятельности, которые определяют содержание и задачи каждой части теста или субтеста (аудирование, говорение, чтение, письмо). Кроме этого, в субтесте «Лексика. Грамматика» отдельно оцениваются собст­венно языковые знания и навыки. Объем языковой компетенции оп­ределяется тематико-ситуационным и интенциональным содержани­ем конкретного уровня. Иностранный учащийся должен правильно понимать и употреблять языковые средства как в рамках отдельного предложения, так и при осуществлении коммуникативной речевой деятельности.

Нарушением считается

• неадекватное отражение статусных норм речевого взаимодействия; неуместное использованием речевого этикета;

• искажение смысла высказывания. Ошибками лексико-грамматического оформления высказывания считаются такие, которые затруд­няют понимание и изменяют смысл высказывания, например ошибка в падежном окончании при наличии двух вариантов, возможных с грамматической точки зрения (письмо Виктора - письмо Виктору).

Учитывая разработанные для каждого уровня владения языком Стандарты по русскому языку как иностранному, четко определяю­щие содержание языковой и речевой компетенции тестируемого, за ошибки, относящиеся к более высокому уровню, баллы не снимаются.

Во всех субтестах, кроме субтеста по «Лексике. Грамматике», оце­ниваются

• содержательный компонент;

• композиционная структура;

• форма и языковые средства выражения смысла.
Содержательный компонент предполагает адекватность решения

поставленной коммуникативной задачи, полноту содержания выска­зывания, соблюдение стилистических норм и норм речевого этикета.

Композиционная структура предполагает соблюдение логики вы­сказывания, ее соответствие заданной форме речевого продукта.

Форма и языковые средства предполагают владение языковым и речевым материалом в соответствии с возможной реализацией задан­ной программы.

В субтесте «Лексика. Грамматика» объектом оценки является пра­вильность использования лексико-грамматических средств в соответ­ствии с нормами современного русского языка. Для данного субтеста разработаны четко определенные в своем содержании рабочая и кон­ трольная матрицы.

Рейтерские таблицы, по которым оцениваются результаты тес­тирования в других субтестах, и контрольные листы экспертной оценки могут иметь различный вид, но содержание объектов конт­роля, параметров оценки, шкалы оценок достаточно строго регла­ментированы.

Следует обратить внимание на то, что при проведении тестирова­ния в рамках III и IV уровней необходимо оценивать также степень адекватности реализации интенций, заданных программой теста, и беглость речи говорящего.

В настоящее время разработчики системы тестирования и собст­венно тестов по РКИ предлагают несколько подходов к оценке и вы­работке критериев, реализуемых в балльно-уровневой системе.

Выделяется ряд критериев, учитываемых при оценке ответа тести­руемого. Так, например, практически все разработчики тестов едины в том, что 1) ответ не засчитывается при неадекватном решении комму­никативной задачи; 2) снимаются баллы при наличии в ответе коммуникативно значимых ошибок, под которыми понимаются лексико-грамматические ошибки, ведущие к искажению смысла высказывания и вызывающие непонимание (или недостаточно точное понимание) у адресата. С другой стороны, возможно начисление поощрительных баллов за оригинальность решения задачи, использование вырази­тельных средств языка, разумеется, в рамках, допустимых при реше­нии данной коммуникативной задачи.

Выработанные к настоящему времени и уже реализуемые крите­рии различаются дробностью рассмотрения компонентов объектов оценки. Это может быть оценка адекватности и точности решения коммуникативной задачи как единого целого или как совокупности промежуточных оценок, выраженных либо в баллах, либо с дополни­тельным словесным определением от «не выражено» к «выражено цекватно» через «искажено», «выражено неадекватными средства-[», что также соотносится с количественными измерениями.

Это обусловливает различный вид и внутреннее наполнение рейтерских таблиц, однако не нарушает единого принципа оценки ре­зультатов тестирования.

Таким образом, в российской системе тестирования содержание тестов, процедура проведения тестирования и подведения итогов коррелирует с требованиями коммуникативного владения РКИ. Важно в этой связи, чтобы организация теста и его формат были надежными и технологичными, а тестовые результаты валидными и до­статочными.

Литература

1. Приказ Министра образования Российской Федерации о вве­дении государственного тестирования по русскому языку граждан за­
рубежных стран (от 9.07.98).

2. Битехтина ГА. Экспертная оценка тестовых материалов как ор­ганизационная и методическая проблема / Преподаватель. М., 1998,
№4, с. 59-62.

3. Норейко Л.Н. Современное лингводидактическое тестирование в свете коммуникативной теории/Преподаватель. М., 1998, № 4, с. 7-10.