Общие принципы подготовки данных для анализа результатов всероссийских проверочных работ

Основными критериями качества используемых данных (См. Андерсон К. Аналитическая культура: от сбора данных до бизнес-результатов. – «Манн, Иванов и Фербер», 2017, С. 47-49.) являются:

1. Доступность реализуется посредством выгрузки исходных данных из личного кабинета регионального координатора на портале ФИС ОКО.
2. Точность контролируется посредством сравнения представленных агрегированных данных ФИС ОКО и результатов, получаемых в ходе анализа первичных данных с индивидуальными результатами каждого ученика образовательных организаций региона, принимавших участие в всероссийских проверочных работах.
3. Взаимосвязанность реализуется посредством использования в качестве идентификатора образовательной организации ее регионального кода, с помощью которого возможно агрегирование индивидуальных результатов учеников до необходимого уровня.
4. Полнота реализуется посредством исключения из анализа случаев, когда одна из переменных в массиве первичных данных отсутствует или характеризуется значительным количеством пропущенных значений. Таким образом предотвращается использование неполных данных.
5. Непротиворечивость обеспечивается использованием регионального кода образовательной организации, выполняющего функцию идентификатора образовательной организации.
6. Однозначность реализуется при помощи сохранения исходной структуры данных в процессе агрегирования или создания дополнительных переменных на основе исходного набора данных.
7. Релевантность обеспечивается контролем показателей объективности на федеральном и региональном уровне.
8. Надежность соблюдается как обязательное условие для всех образовательных организаций региона принимать участие в написании всероссийских проверочных работ.
9. Своевременность обусловлена проведением анализа результатов всероссийских проверочных работ непосредственно после того, как данные становятся доступны для скачивания на портале ФИС ОКО. В случае, если по тем или иным причинам всероссийские проверочные работы в текущем учебном году не проводились или проводились частично, ключевые направления анализа реализуются на материалах прошлого учебного года.

Преобразование исходных данных для последующего анализа производится следующим образом.

Массив первичных данных каждого предмета всероссийских проверочных работ переводится из формата .csv в формат .xlsx. Из массива удаляются лишние знаки, символы пропущенных ответов «N» заменяются на «0». Ячейки с индивидуальными ответами разбиваются по отдельным столбцам.

Рассчитываются дополнительные показатели:

• «Процент выполнения работы ученика» как отношение (в процентах) переменной «Первичный балл ученика» к максимальной сумме баллов за работу (рассчитывается как сумма максимальных баллов за каждое задание);
• «Модуль разницы отметок» как модуль разницы значения столбцов «Отметки по журналу» и «Отметки за ВПР» исходного массива данных.

Рассчитываются следующие показатели в исходном массиве данных для последующих расчетов на уровне конкретной образовательной организации:

• максимальная сумма баллов по каждому заданию;
• максимальная сумма баллов за работу как сумма максимальных баллов за каждое задание;
• сумма баллов за каждое задание по всей выборке;
• количество наблюдений по каждому заданию для всей выборки;
• коэффициент корреляции Пирсона между отметками за всероссийские проверочные работы и отметками по журналу на всей выборке;
• средний уровень выполнения каждого задания на выборке;
• средний первичный балл;
• стандартное отклонение и доверительный интервал с верхней и нижней границами.

Исходный массив данных экспортируется в статистический пакет IBM SPSS для дальнейшего агрегирования индивидуальных результатов учеников до уровня результатов соответствующей образовательной организации. На уровне школ рассчитывается коэффициент корреляции Пирсона для переменных «Отметки по журналу» и «Отметки» (за всероссийские проверочные работы), с помощью «*» или «**» маркируется уровень статистической значимости коэффициентов. Помимо этого, все наблюдения по всем ученикам разбиваются на квартили на основании переменной «Процент выполнения работы учеником» таким образом, что наиболее низкие результаты оказываются в первом квартиле.

После завершения расчетов предыдущего этапа, в статистическом пакете IBM SPSS производится агрегирование данных от уровня ученика к уровню школы, с последующим формированием отдельной таблицы. Для последующего использования агрегированных данных формируется таблица с промежуточными данными.

Результаты всех предыдущих этапов анализа собираются в основной таблице с данными по следующим разделам:

• первичные данные (имя данного листа совпадает с именем исходной таблицы);
• статистика;
• квартили;
• корреляция;
• SPSS;
• маркеры.

Из основной таблицы для осуществления дальнейшего анализа исключаются образовательные организации, реализующие адаптивные образовательные программы в качестве основной, образовательные организации федерального подчинения, частные (негосударственные) и автономные некоммерческие образовательные организации, интернаты для учеников с ограниченными возможностями здоровья, центры образования, а также средние профессиональные образовательные организации.