ИОК — Использование результатов ГИА в системе оценки качества образования

Оценка качества образования — один из важнейших аспектов системы управления образованием региона. Критериальный аппарат системы оценки качества необходимо постоянно совершенствовать, корректировать и пополнять любыми доступными источниками достоверной оценки знаний.

Результаты государственной итоговой аттестации по программам среднего общего образования (ГИА-11) в форме единого государственного экзамена (ЕГЭ) представляют особый интерес поскольку могут расцениваться как результат независимой оценки. По окончании экзаменов регион располагает структурированным набором данных о результатах каждого участника экзамена. Каждый результат содержит сведения о выполненных заданиях. Все задания структурированы согласно кодификаторам контрольно-измерительных материалов, разработанным Федеральным государственным бюджетным научным учреждением «Федеральный институт педагогических измерений» (ФИПИ). Этих материалов достаточно для проведения общего качественного анализа знаний выпускников текущего года, затронутым в контрольно-измерительных материалах ЕГЭ, при условии такого количества участников экзамена, которое обеспечивает репрезентативность полученных результатов.

С 2009 года по данным, публиковавшимся в открытых источниках, репрезентативными можно считать результаты обязательных экзаменов по русскому языку и математике, где принимают участие почти 100% выпускников текущего года, и по обществознанию, где участие принимают более 60% выпускников текущего года (по данным сайтов ГИА-11: http://ege.edu.ru и ФИПИ: http://fipi.ru). В экзаменах ЕГЭ по остальным предметам принимает участие менее трети выпускников, что делает выборку недостаточной для общего качественного анализа.

Результаты государственной итоговой аттестации по программам основного общего образования (ГИА-9) в форме основного государственного экзамена (ОГЭ) для этих же целей можно рассматривать начиная с 2014 года, когда экзамены ОГЭ по русскому языку и математике стали обязательными.

Анализ результатов ГИА как самостоятельного объекта исследования позволяет решать практические задачи.

• Общий качественный анализ результатов выпускников текущего года позволяет сформировать методические рекомендации по некоторым аспектам совершенствования преподавания общеобразовательных предметов в регионе.

• Анализ работы экспертов по проверке экзаменационных работ позволяет внести изменения в программу подготовки экспертов для повышения качества работы предметной комиссии, а так же служит основой для принятия управленческих решений при формировании составов предметных комиссий на следующий учебный год.

• Богатые возможности по вычислению средних баллов, полученных участниками ГИА, порождают наиболее востребованную и наиболее спорную, с точки зрения оценки качества образования, задачу по составлению разного рода рейтингов образовательных учреждений региона.

С точки зрения региональной системы оценки качества образования результаты ГИА имеют ценность в качестве источника данных, которые могут дополнить сведения о состоянии системы образования, содержащиеся в имеющихся информационных ресурсах региона.

В Санкт-Петербурге в общеобразовательных организациях реализующих образовательные программы основного общего образования и среднего общего образования используется автоматизированная информационная система «Параграф» (АИС «Параграф»), которая содержит сведения об образовательных организациях, обучающихся, сотрудниках, образовательных программах, учебных планах, текущей и итоговой аттестации обучающихся.

Интеграция результатов ГИА с АИС «Параграф» может позволить проводить глубокий анализ качества обучения по каждой общеобразовательной организации, каждому учебному коллективу, с учетом особенностей реализации образовательных программ, личности преподавателя и каждого обучающегося.

Рассмотрим один из наиболее общих примеров анализа на основе результатов ЕГЭ по математике обучающимися одной из гимназий Санкт-Петербурга в 2014 году. Предположим что тесты ЕГЭ имеют высокую валидность и надежность, проанализируем решение заданий с кратким ответом:

Из представленных результатов видно, что наибольшие затруднения вызывают задания B11, B14 и В15. В спецификации к КИМ по математике за 2014 год можно найти обобщенный план варианта в котором описано каждое задание. Из него получаем, что В11 — умение выполнять вычисления и преобразования, В14 — умение строить и исследовать простейшие модели, В15 — умение выполнять действия с функциями. Результаты по этим заданиям являются наихудшими не только в данной ОО, но и в ОО всего района. Из этого можно сделать вывод, что-либо учебная программа не охватывает должным образом эти темы, либо тестовые задания выходят за рамки учебной программы. Общий качественный анализ результатов ЕГЭ по математике говорит (Результаты ЕГЭ по математике в 2014 году в Санкт-Петербурге. Аналитический отчет предметной комиссии, ГБОУ ДПО ЦПКС СПб РЦОКОиИТ, 2014, стр. 10):

3.2.2. Анализ неуспешных заданий части В

Из приведенной выше таблицы видно, что наиболее слабые результаты показаны учащимся по задачам B11, В14 и В15. И если в случае с задачей В11 падение результата объяснимо резким возрастанием сложности задачи по сравнению с прошлым годом, то последние две задачи были аналогичны прошлогодним. Также нельзя не отметить, что в прошлые годы слабыми считались результаты ниже 50%, в этом же году результаты по трем вышеуказанным задачам не просто слабые, а катастрофические.

Следовательно, учителям математики рассматриваемой гимназии следует обратить внимание на методические рекомендации предметной комиссии, содержащимися в аналитическом отчете.

Основные трудности на пути интеграции информационных систем АИС «Параграф» и региональной информационной системы обеспечения проведения государственной итоговой аттестации обучающихся, освоивших основные образовательные программы основного общего и среднего общего образования (РИС ГИА) заключаются как в общих технических сложностях автоматизированного сопоставления данных, так и в прикладном характере РИС ГИА.

Очевидно, что интеграция данных из одной информационной системы в другую должна обеспечивать автоматизацию процесса импорта данных. Для этого необходим механизм автоматизированного сопоставления объектов между информационными системами.

Сопоставление сведений об общеобразовательных организациях осуществляется по коду ОУ, принятому в РИС ЕГЭ. Этот код добавлен в региональную информационную систему.

Сопоставление сведений об учебных коллективах вызывает сложности, поскольку РИС ГИА не содержит отдельной сущности «учебный коллектив» (класс). При условии корректной работы механизма сопоставления обучающихся, сопоставлением учебных коллективов можно пренебречь, что уменьшает возможность верификации данных.

Сопоставление сведений об обучающихся в региональной системе с РИС ГИА вызывает наибольшие сложности за счет отсутствия способа однозначной идентификации обучающегося. Составной идентификатор «Фамилия»+«Имя»+«Отчество»+«Дата рождения» не гарантирует уникальности. В Санкт-Петербурге в 2014 году было выявлено 21 пара полных однофамильцев рожденных в один день. Идентификация по серии и номеру документа, удостоверяющего личность, так же не дает возможности однозначного сопоставления. Сведения о документе в АИС «Параграф» заполняется по необходимости и по мере предоставления сведений обучающимся. Обучающийся может быть зарегистрирован в РИС ЕГЭ с новыми паспортными данными, тогда как в свое общеобразовательное учреждение этих данных он не предоставил. Для работы можно использовать комбинацию обоих подходов, что усложняет алгоритм и добавляет необходимость ручной обработки ошибок при сопоставлении. Следует отметить положительный момент, с 2015 года для объекта «участник экзаменов» в РИС ЕГЭ введено поле СНИЛС. Заполнение этого поля в обоих системах позволит существенно упростить сопоставление данных.

Следующий вопрос, с которым сталкивается интеграция информационных систем — сроки интеграции. Для оперативного анализа удобно интегрировать данные по завершении каждого экзамена по предмету, но процедура ГИА предполагает возможность пересдач экзаменов по основным предметам, а с 2015 года и предметов по выбору в форме ЕГЭ. Кроме того, результат участника экзамена может измениться после рассмотрения апелляции о несогласии с баллами, сроки обработки которой могут занимать от 5 дней до нескольких месяцев, если по результатам апелляции происходит существенное увеличение баллов. Так же, практика проведения ЕГЭ показывает, что федеральные предметные комиссии могут пересматривать результаты участников в случае обнаружения некорректных формулировок в заданиях контрольно-измерительных материалов уже после публикации результатов экзамена.

Оптимальные сроки интеграции информационных систем — сентябрь—октябрь следующего учебного года, после проведения процедуры ГИА. Если же необходимо учесть результаты сентябрьской пересдачи предметов по выбору, эти сроки необходимо передвинуть на ноябрь. Но в АИС «Параграф» сведения об изучении предметов (учебные планы, текущая успеваемость) к этому моменту тоже содержат данные следующего учебного года.

Таким образом, для использования результатов ГИА в системе оценки качества образования региона необходимо:
• обеспечить автоматизированное сопоставление объектов информационных систем;
• обеспечить сохранение сведений об изучении предметов (учебных планов, текущей успеваемости) за прошедший учебный год.

Использование результатов ГИА в системе оценки качества образования

Сетевое издание «Информатизация. Образование. Качество»