Муниципальный отчёт «Результаты оценки компетентности в решении проблем обучающихся 10-х классов общеобразовательных организаций Приуральского района»

Анализ результатов оценки компетентности обучающихся 10-х классов в решении проблем проводится с целью обеспечить объективную оценку способности выпускников основной школы использовать свои знания и умения для полноценного функционирования в современном обществе - оценить, в какой мере школа обеспечивает формирование общеучебных и интеллектуальных умений, на которых базируется компетентность в решении проблем.

Целью диагностической работы является оценка уровня компетентности в решении проблем обучающихся 10-х классов общеобразовательных организаций Приуральского района.

Исходные нормативные документы, определяющие содержание диагностической работы:

• федеральный государственный образовательный стандарт основного общего образования (приказ Минобрнауки России от 17.12.2010 № 1897 с изменениями) в области требований к предметным и метапредметным результатам;
• федеральный компонент государственного стандарта общего образования (приказ Минобразования России от 5 марта 2004 г. №1089).

Участники мониторинга: десятиклассники, родители (законные представители), учителя-предметники, классные руководители.

Основу инструментария составили авторские методики и материалы, разработанные автономной некоммерческой организацией «Центр развития молодёжи» (г. Екатеринбург).

Мониторинг проходил в форме тестирования.

C 20 октября по 12 ноября 2021 года во всех школах Приуральского района проведен мониторинг оценки компетентности в решении проблем обучающихся 10 классов. Мониторинг компетентности в решении проблем проходил в режиме онлайн-тестирования на сайте https://cerm.ru/. Система обработала все завершенные работы автоматически, что позволило получить результаты измерений по каждому обучающемуся в отдельности. Задания для проведения оценки составлены на основании подходов, заложенных в основу методики международного исследования PISA.

Мониторинг проводился дистанционно в режиме онлайн-тестирования в течение 90 минут.

Тестирование включало 18 заданий разного уровня сложности из 3 образовательных областей: математическая грамотность, читательская грамотность, естественнонаучная грамотность.

Для оценки компетентности учащихся в исследовании использованы задания, в которых предлагалось разрешить одну из трёх типов проблем, связанных с важными аспектами повседневной жизни и часто встречающихся в реальных ситуациях: личной жизни обучающихся, работе и отдыхе, жизни общества.

Мониторинг проводился в четырех муниципальных общеобразовательных организациях: Школа с. Аксарка, Школа с. Белоярск, «Школа с. Катравож», «Школа с. Харсаим».

Структура и содержание КИМов

В работе были представлены задания по трём аспектам компетентности решения проблем (по модели PISA), конкретизированные для проверки действия, согласованные с ФГОС СОО.

Согласно требованиям к метапредметным результатам ФГОС СОО, у школьника должен сформироваться опыт переноса и применения универсальных учебных действий в жизненных ситуациях для решения задач общекультурного, личностного и познавательного развития; освоенные знания и учебные действия направлены на формирование компетенций и компетентностей в предметных областях, учебно-исследовательской деятельности.

В общих положениях ФК ГОС отмечено, что в результате освоения содержания основного общего образования обучающиеся должны получить возможность совершенствовать и расширять круг общих учебных умений, навыков и способов деятельности, таких как познавательные, информационно-коммуникативные и рефлексивные.

Задания вариантов диагностических работ были построены на межпредметном материале: естественнонаучное, математическое и финансовое содержание, внепредметное содержание на описании реальной ситуации (смысловое чтение).

Решались следующие типы проблем:

- принятие решения (читательская грамотность) – задания 1, 7, 10, 16;

- принятие решения (математическая грамотность) – задания 4, 13;

- внезапно возникшие неполадки (естественнонаучная грамотность) – задания 2, 5, 8, 11, 14, 18;

- анализ и планирование (читательская грамотность) – задания 3, 9, 15, 17;

- анализ и планирование (математическая грамотность) – задания 6, 12.

Формат ответа:

- выбор ответа – 11 заданий;

- множественный выбор – 2 задания;

- сопоставление – 4 задания;

- определение истинности – 1 задание.

Максимальный балл – 18.

Каждый вариант диагностической работы содержал 18 заданий и проверял три типа проблем из группы умений по решению проблем (по модели PISA). Выбрана классификация, соответствующая подходу международного исследования PISA (функциональная грамотность, направление решение проблем, типы проблем: принятие решений, внезапно возникшие неполадки, анализ и планирование).

Задания носили деятельностный характер. В каждом задании содержалась вся необходимая для его решения информация. Продолжительность выполнения диагностической работы составляла 60 минут.

Типы проблем, проверяемые с помощью тестирования, определялись на основе классификации, предложенной международным исследованием PISA-2003.

Каждому тестовому заданию соответствовало три характеристики: тип проблемы, содержательная область и формат ответа.

Характеристика заданий по включению типов проблем:

- принятие решения – в условии задания формулируется проблема, которая включает в себя условие и несколько ограничений; от школьников требуется понять проблему, изучить предложенные варианты решения этой проблемы и выбрать все варианты решения, которые будут отвечать сформулированным ограничениям;

- анализ и планирование – в условии задания формулируется только проблема, которая включает в себя условие и несколько ограничений; старшекласснику необходимо проанализировать проблему, спланировать некую систему, отвечающую всем ограничениям, которая позволит ему самому сформулировать верный вариант решения данной проблемы (от пункта «Принятие решения» данный пункт отличается тем, что ребёнку заранее НЕ предлагаются какие-либо варианты решения проблемы; решение ученик должен сформулировать самостоятельно);

- внезапно возникшие неполадки – в условии задания формулируется некая инженерная проблема; ученику необходимо на основе изображения или описания механизма понять работу устройства, определить особенности возникшего затруднения, диагностировать неполадки, предложить решение возникшего затруднения.

Характеристика заданий по содержательной области:

- математическое содержание – 4 задания;

- внепредметное содержание (смысловое чтение) – 8 заданий;

- естественнонаучное содержание – 6 заданий.

Характеристика заданий по формату ответов:

- выбор правильного ответа из нескольких вариантов – 11 заданий;

- множественный выбор ответа – 2 задания;

- определение истинности – 1 задание; 

- установление соответствия – 4 задания.

На основе ключей и критериев проверялась работа обучающегося (компьютерная обработка полученных ответов), выставлялись баллы по каждому заданию, которые заносились в матрицу результатов. Затем результат пересчитывался в процент выполнения, который формировался как для каждого обучающегося, так и для каждого задания, разделяясь по целевой направленности задания.

Перевод результатов комплексной диагностической работы в оценку не предполагался. Целью являлось получение информации по результатам оценочных процедур, определение у обучающихся уровня сформированности компетентности в решении проблем; определение стартовых региональных показателей результатов обучающихся, а также их динамика.

Уровни компетентности обучающегося определялись следующим образом:

- повышенный: 12 – 18 баллов;

- базовый: 7 – 11 баллов;

- минимальный достаточный: 3 – 6 баллов;

- низкий уровень: 0 – 2 балла.

Повышенный уровень. Обучающиеся могут распознать проблему неисправности устройства и найти решение для её устранения, уверенно работают с несколькими источниками информации (графическим, табличным, текстовым, составным), могут планировать многошаговые действия в соответствии с поставленной задачей.

Базовый уровень. Обучающиеся справляются с большинством заданий на устранение неполадок в техническом устройстве или описании, могут работать одновременно с несколькими источниками информации, могут планировать действия из небольшого количества шагов в соответствии с поставленной задачей.

Минимальный достаточный уровень. Обучающиеся справляются с несложными одношаговыми заданиями на устранение неполадок в техническом устройстве или описании, могут работать одновременно с одним или двумя однотипными источниками информации, могут планировать несложные действия в соответствии с поставленной задачей.

Низкий уровень. Обучающиеся справляются с некоторыми одношаговыми заданиями на устранение неполадок в техническом устройстве или описании, могут работать с одним текстовым источником информации, могут планировать простейшие действия в соответствии с поставленной задачей.

Достаточным уровнем достижения результата в области решения проблем считается достижение обучающимися уровней: минимальный достаточный, базовый, повышенный. Учащиеся, демонстрирующие низкий уровень компетентности, не проявляют способности решать проблемы в ситуациях, за пределами учебных.

В результате проведённого исследования было выделено 4 уровня достижения компетентности в решении проблем:

- низкий (0 – 2 балла);

- минимальный достаточный (3 – 6 баллов);

- базовый (7 – 11 баллов);

- повышенный (12 – 18 баллов).

В каждый уровень попадают результаты, совпадающие с нижней границей баллов (например, 0 баллов для низкого уровня) или с верхней границей (например, 2 балла для низкого уровня).

В базе данных приведены баллы обучающихся по всему тесту в целом и по каждому типу проблем в отдельности. Для каждого типа проблем обозначен уровень достижения результата:

- низкий (0 баллов);

- минимальный достаточный (1 или 2 балла);

- базовый (3 или 4 балла);

- повышенный (5 или 6 баллов).

Сопоставление уровня достижения по суммарному результату и по каждому типу проблем в отдельности на граничных баллах каждого уровня не может выполняться простым сравнением.

Определяющим фактором является суммарный балл за весь тест в целом.

Анализ результатов регионального мониторинга оценки компетентности

в решении проблем

С целью оценки уровня компетентности в решении проблем старшими школьниками с 20 октября по 12 ноября 2021 года в рамках регионального мониторинга проведено тестирование среди обучающихся 10-х классов общеобразовательных организаций Приуральского района.

Приняли участие 55 обучающихся 10-х классов из 4 общеобразовательных организаций Приуральского района (из них 30 обучающихся из группы КМНС):

- МОУ «Школа с. Харсаим» - 3 обучающихся – 100%;

- МОУ Школа с. Аксарка – 24 обучающихся из 27 – 88%;

- МОУ Школа с. Белоярск – 19 обучающихся – 100%; 

- МОУ «Школа с. Катравож» - 9 обучающихся – 100%.

В результате проведённого исследования с учётом реальной трудности тестового пакета заданий было выделено 4 уровня достижения компетентности в решении проблем.

Уровень сформированности компетентности обучающихся Приуральского района

в решении каждого типа проблем:

- принятие решения:

- внезапно возникшие неполадки:

- анализ и планирование:

Выводы:

- по проблеме «Принятие решения» половина обучающихся Приуральского района показала минимальный достаточный уровень, одинаковый процент базового и низкого уровней и крайне низкий процент повышенного уровня;

- по проблеме «Внезапно возникшие неполадки» у большей половины обучающихся определен минимальный достаточный уровень, у трети обучающихся – низкий уровень, у небольшого процента обучающихся – базовый уровень и крайне низкий процент повышенного уровня;

- по проблеме «Анализ и планирование» у большей части обучающихся Приуральского района зафиксирован низкий уровень, у трети обучающихся – минимальный достаточный уровень, низкий процент повышенного уровня и крайне низкий процент базового уровня.   

Общий уровень сформированности компетентности обучающихся Приуралльского района в решении ВСЕХ ТИПОВ проблем

Выводы

Анализ таблиц показывает, что в большей степени у обучающихся сформированы умения по аспекту «Принятие решения». Наиболее высокие результаты обучающиеся показывают в заданиях, в которых требуется выбрать варианты решения, отвечающие сформулированным ограничениям. В меньшей степени – по аспекту «Анализ и планирование», в которых требуется сопоставить и интегрировать информацию, заданную в двух-трёх разных форматах: таблицах, схемах, тексте, диаграммах, графических изображениях.

Проблемной для тестируемых оказалась содержательная область «математическая грамотность», все четыре задания, представленные в пакете, оказались трудными для школьников. При этом самыми трудными явились задания не с математическим, а с метапредметным содержанием, в которых требовалось проанализировать представленную текстовую информацию и интегрировать её с информацией из графического источника.

Корреляции трудности заданий с форматом ответа не наблюдается. Вызывает трудности у обучающихся наличие в задании составного источника (объединяющего текстовый источник и график, таблицу или схему), необходимость выстраивания причинно-следственных связей, необходимость сопоставления и учёта нескольких условий.

Рекомендации по интерпретации результатов исследования для педагогов

В индивидуальной карте результатов каждого обучающегося приведены количество набранных баллов и уровень компетентности обучающегося в решении проблем. С помощью исследования проводилась оценка сформированности ожидаемого результата по трём типам проблем:

1. Принятие решения. В условии задания формулируется проблема, которая включает в себя условие и несколько ограничений. От детей требуется понять проблему, изучить предложенные варианты решения этой проблемы и выбрать все варианты решения, которые будут отвечать сформулированным ограничениям.
2. Анализ и планирование. В условии задания формулируется только проблема, которая включает в себя условие и несколько ограничений. Ребёнку нужно проанализировать проблему, спланировать некую систему, отвечающую всем ограничениям, которая позволит ему самому сформулировать верный вариант решения данной проблемы. Ученику предлагается набор инструментов и описание требований, которые он должен встроить в систему оптимальным образом для решения заданной проблемы.
3. Внезапно возникшие неполадки. В условии задания формулируется некая инженерная проблема. Ребёнку необходимо на основе изображения или описания механизма понять работу устройства, определить особенности возникшего затруднения, диагностировать неполадки, предложить решение возникшего затруднения.

Полученные результаты были распределены по четырём уровням компетентности в решении проблем:

В базе данных результатов у каждого обучающегося отражены полученные баллы и процент выполнения заданий за весь тест и за каждый тип проблемы в отдельности.

На основании базы данных необходимо провести школьный анализ результатов оценки компетентности в решении проблем обучающихся 10-х классов, дополнить его реестром затруднений обучающихся, разместить документ на школьном сайте.

Адресные рекомендации по формированию компетентности в решении проблем

для муниципальных общеобразовательных учреждений         

МОУ Школа с. Аксарка:

- учить извлекать и обрабатывать информацию из источников разного типа: графического, табличного, текстового, составного, в том числе из двух текстовых источников;

- принимать решение простой/непростой проблемы с учетом введенных ограничений;

- планировать систему/сложную систему в условиях введения ограничений;

-  понимать работу устройства на основе изображения или описания;

- диагностировать неполадки в техническом устройстве или описании;

- диагностировать внезапно возникшую неполадку в незнакомом устройстве.

МОУ Школа с. Белоярск:

- учить извлекать и обрабатывать информацию из источников разного типа: графического, табличного, текстового, составного, в том числе из двух текстовых источников;

- принимать решение простой/непростой проблемы с учетом введенных ограничений;

- планировать систему/сложную систему в условиях введения ограничений;

-  понимать работу устройства на основе изображения или описания;

- диагностировать неполадки в техническом устройстве или описании.

МОУ «Школа с. Катравож»:

- учить извлекать и обрабатывать информацию из источников разного типа: графического, табличного, текстового, составного, в том числе из двух текстовых источников;

- принимать решение простой/непростой проблемы с учетом введенных ограничений;

- планировать систему/сложную систему в условиях введения ограничений;

-  понимать работу устройства на основе изображения или описания;

- диагностировать неполадки в техническом устройстве или описании;

- диагностировать внезапно возникшую неполадку в незнакомом устройстве.

МОУ «Школа с. Харсаим»:

- учить извлекать и обрабатывать информацию из источников разного типа: графического, табличного, текстового, составного;

- принимать решение простой/непростой проблемы с учетом введенных ограничений;

- планировать систему/сложную систему в условиях введения ограничений;

-  понимать работу устройства на основе изображения или описания;

- диагностировать неполадки в техническом устройстве или описании;

- диагностировать внезапно возникшую неполадку в незнакомом устройстве.

Общие рекомендации:

- обратить особое внимание на математическую подготовку обучающихся: чтение схем, таблиц, диаграмм;

- включать в обучение задания, содержащие нетекстовый и составной источники информации, не только на занятиях математического и естественнонаучного цикла, но и на предметах гуманитарного цикла;

- формировать навыки смыслового чтения и работы с информацией, представленной разными видами нетекстовых источников. Предлагать задания на сопоставление информации, интеграцию, установление истинности, установление последовательности выполнения действий;

- обратить внимание на обучающихся, показавших низкий уровень сформированности компетентности в решении проблем, и особенно – на обучающихся, не справившихся с заданием № 7. Предположительно, у них не сформирована читательская функциональная грамотность (понимание смыслов прочитанного), есть трудности в извлечении информации из таблицы;

- предоставлять обучающимся возможность приобретать опыт выполнения заданий по решению проблем, формировать познавательные общеучебные умения и навыки рассуждений системно и систематически;

- предлагать многошаговые задания и учить планированию собственной деятельности по выполнению задания;

- учить разбивать задачу на подзадачи;

- учить строить математическую (графическую) модель задачи, рассматривать построение модели как этап решения задачи;

- учить конкретизировать постановку задачи: дано, необходимо определить, какие промежуточные шаги следует выполнить;

- ориентировать обучающихся на многократное прочтение задачной формулировки и текстов предложенных вариантов ответа в заданиях на установление соответствия;

- предлагать опыт работы с незнакомыми источниками, с новыми видами деятельности на основе табличных и графических источников, с объединением и сопоставлением информации из разных типов источников.