Вы находитесь в Nashe Skolkovo

Результаты TIMSS-тестирования

Как и анонсировалось ранее, на параллели 5 и 9 классов было проведено тестирование по открытым материалам TIMSS. Публикуем для обсуждения анализ полученных результатов, подготовленный организаторами. Комментируйте, уточняйте, спрашивайте. На вопросы по тестированию отвечают организаторы — Капаницына Ольга Владимировна и Лямкина Елена Геннадьевна.

 

Е. Г. Лямкина		О. В. Капаницына

 

Анализ выполнения заданий теста TIMSS учащимися 5-х классов

В мониторинговом исследовании TIMSS в рамках внутришкольного эксперимента принимало участие 83 пятиклассника. Они выполняли задания, предназначенные для выпускников начальной школы, которые использовались в международном исследовании 2003 года, а теперь предложены официально в качестве тренировочных для всех желающих. Работа состояла из 42 заданий. Из них 22 задания по математике и 20 естественнонаучных заданий. Для нашей школы это было первое подобное исследование. Решение о проведении подобного исследования было принято на одном из весенних педсоветов 2012 года, где речь шла о связи компетентностного подхода в образовании и качества образования в его современном понимании.

Максимальное количество баллов, которое мог набрать ребенок, — 42. Самый высокий балл, полученный участником тестирования – 40 баллов (95% от максимально возможного), наименьший – 11 баллов (26% от максимально возможного). Средний показатель на всей параллели пятых классов составил 27,5 баллов (65% от максимально возможного).

Особенности выполнения заданий по математике. Учащиеся продемонстрировали достаточно высокие результаты изучения отдельных вопросов математики. Свыше 70% ребят справились с заданиями программного характера. Значительная часть заданий теста была представлена в непривычной для пятиклассников текстовой форме, которая сопровождалась рисунком, схемой, таблицей. Однако учащиеся приступали к их решению, опираясь на здравый смысл, на жизненные представления. Наибольшие затруднения у пятиклассников вызвали задания геометрического характера, не входившие в программный материал начальной школы. Процент их выполнения составил менее 40%. В целом выполнение заданий математического блока составило 68,6%.

Особенности выполнения заданий по естествознанию. Самые высокие результаты продемонстрировали наши пятиклассники при выполнении заданий общего биологического содержания. Трудными для выпускников начальной школы оказались в основном задания физического содержания и задания на знание человеческого организма. В целом выполнение заданий естественнонаучного блока составило 61,2%.

Общие результаты.

	Выполнение заданий математического блока, %	Выполнение заданий естественнонаучного блока, %	Выполнение теста, %
Школа 8	68,6	61,2	64,9
Россия	69,5	63,6	66,6

 

Сравнивая российские показатели выполнения теста со школьными, можно сделать следующие выводы:
1. наши пятиклассники уступают в решении задач геометрического характера;
2. наши пятиклассники уступают в решении задач физического характера и задач на знание человеческого организма.
3. наши пятиклассники успешнее в заданиях общего биологического содержания;
4. наши пятиклассники успешнее в заданиях программного характера.

Организаторы TIMSS всегда предупреждают, что задания готовятся для международной аудитории и нет ничего страшного в том, что какие-то задания не изучаются в конкретной стране. Для нас в первом таком тестировании важно было сравнить результаты школы с российскими. К сожалению, перевес, пусть и небольшой, не на нашей стороне.

 

Анализ выполнения теста TIMSS учащимися 9-х классов

В мониторинговом исследовании TIMSS в рамках внутришкольного эксперимента принимало участие 64 девятиклассника. Учащимся была предложена работа из 53 заданий. В их число вошло 27 заданий по математике и 26 естественнонаучных заданий.

Максимально возможное количество баллов — 53. Средний показатель на параллели составил 23,66 баллов (44% от максимально возможного). Наивысший балл среди участников тестирования – 43 (81% от максимально возможного), наименьший – 11 баллов (20% от максимально возможного).

Особенности выполнения теста по математике. Наши девятиклассники показали хорошие результаты при выполнении заданий на чтение графика и заданий на простейшие математические вычисления. Одновременно стало понятно, что девятиклассники не умеют применять полученные знания при выполнении нестандартных заданий по алгебре, связанных с выявлением закономерностей, разрешением проблем, возникающих в реальной ситуации, описанной в условии задачи. Это связано с тем, что обучение решению задач фактически завершается в 5-6 классах, а в курсе алгебры не поддерживается систематическим повторением и учащимся не предлагаются задачи практического содержания. Результат выполнения заданий на тему «Вероятность» также крайне мал. Решение некоторых задач теста основывалось на умении применять на практике полученные знания, однако процент выполнения таких заданий низок. В целом выполнение заданий математического блока составило 56,4%.

Особенности выполнения теста по естествознанию. Задания по естествознанию для наших девятиклассников оказались сложными. Самыми сложными стали задания со свободным ответом. Большие затруднения вызвали и те, в которых нужно было проанализировать проблему с целью определения этапов ее решения, нахождения способов решения и объяснения или обоснования этого решения. В заданиях, состоящих из нескольких вопросов, большинство ребят, приступивших к решению, ограничивались выполнением только первой части. В целом выполнение заданий естественнонаучного блока составило 44,6%.

Общие результаты.

	Выполнение заданий математического блока, %	Выполнение заданий естественнонаучного блока, %	Выполнение теста, %
Школа 8	56,4	32,5	44,6
Россия	49,4	53,2	51,2

 

Сравнивая российские показатели выполнения теста со школьными, можно сделать следующий вывод: наши девятиклассники значительно уступают в решении задач естественнонаучного блока.

10 комментариев

1. Жанна Валерьевна:

   22/10/2012 в 13:34

   Ольга Владимировна и Елена Геннадьевна! У меня вопросы и предложение. Вопрос: выпускники начальной школы изучали математику и окружающий мир в разных образовательных системах (“Школа 2100″, “Школа XXI века”, “Перспективная начальная школа”). Вы видите результаты не только в параллели, но и по классам. Велика ли разница в результатах? Если да, то объясняется ли она разницей программ?
   На вторую часть вопроса вы (О. В. и Е. Г.), понятно, ответить не сможете. В связи с этим у меня предложение: передайте тест в МО учителей началки для анализа.
   Ольга Александровна, очень было бы интересно увидеть после этого комментарий Ваш и Ваших коллег по “цеху”.

   Ответить
   • Ольга Владимировна:

     22/10/2012 в 20:22

     Общие результаты тестирования по классам.

     класс программа Выполнение заданий математического блока, %
     5а Перспективная школа 60,4
     5б Школа России 74,6
     5в Школа России 61,7
     5г Перспективная школа 77,0

     класс программа Выполнение заданий естественного блока, %
     5а Перспективная школа 58,1
     5б Школа России 62,7
     5в Школа России 52,7
     5г Перспективная школа 71,1

     Конечно, разница в результатах по классам имеет место быть. Однако успешность выполнения заданий теста от изучаемой образовательной программы не зависит.

     Ответить
2. Ольга:

   29/10/2012 в 9:02

   Скажите, а какие задания были “завальные”? И совпадают “завалы” в 8 школе с российскими результатами?

   Ответить
   • Ольга Владимировна:

     29/10/2012 в 16:20

     Среди заданий математического блока в 5 классе “завальным” было задание, в котором просили дорисовать фигуру на клетчатом фоне таким образом, чтобы площадь получившейся фигуры составила 13 кв. см. Наша школа справилась на 17%, а российский показатель составил 29%. В естественном блоке самым “завальным” оказалось следующее задание:

     Какое утверждение о ВСЕХ металлах верно?
     a) Все металлы не тонут в воде.
     b) Все металлы хорошо проводят тепло.
     c) Все металлы притягиваются магнитом.
     d) Все металлы твердые при комнатной температуре.

     Выполнение этого задания в школе составило около 17%, а российский показатель – 14%. Это самые низкие показатели и по данным школы, и по данным России. В этих заданиях “завалы” школы и России совпадают.
     Примерно в три раза ниже российского показателя наша школа оказалась в заданиях:

     Миша играет в футбол. Ему очень жарко. Какие процессы, происходящие с телом Миши, позволяют его телу охладиться? Приведи один пример (12% против 35%);
     Когда дети становятся взрослыми, у них увеличивается рост и вес. Приведи еще один пример физических изменений, которые происходят в организме детей, когда они взрослеют (9% против 32%).

     “Завалы” в этих заданиях не совпадают с результатами России.
     В 9 классах “завалы” в заданиях математического блока на знание формулы чётного числа, на вероятность (7% против 39% и 7% против 56%). Выполнение заданий естественного блока в целом ниже, чем по России в 1,5-2 раза. Так, например, задание почему появление «дыры» в озоновом слое Земли может оказать отрицательное воздействие на людей, укажите одну из причин оказалось под силу только 2% учащихся школы против 39% российских. Это самый большой разрыв показателей.

     Ответить
     • Ольга:

       30/10/2012 в 10:38

       Спасибо. Честно говоря, ответ поразил. С такими “завалами” есть над чем школе задуматься. Не думаю, что программа виновата. Что же с детьми никогда не говорили про то, почему человек потеет и что у него растет кроме костей и мышц? И про озоновые дыры тоже впечатляет. Слушайте, надо это во всех школах проводить и мы еще не так ужаснемся. Чему учим?

       Ответить
       • Ольга Владимировна:

         31/10/2012 в 13:39

         Я думаю, что недостаточное количество времени на выполнение заданий тоже сыграло роль. На выполнение 42-х заданий в 5 классе отводилось 50 минут, на выполнение 53-х заданий в 9 классе – 60 минут. Примерно 1 минута на 1 задание. Прочитать, осмыслить и сформулировать свое мнение за такой короткий промежуток времени далеко не каждому под силу.

         Ответить
3. Наталья Васильевна:

   08/11/2012 в 13:58

   Уважаемые коллеги! Ваш первый опыт по приобщению к проведению международного сравнительного мониторингового исследования TIMSS можно считать новым, интересным, инициативным, смелым, нестандартным,нацеленным на перспективу! И, как всё новое, вызывает очень много вопросов. К сожалению, могу судить о вашем эксперименте только по содержанию приведённой статьи и комментариям к ней.
   Остаются до конца непонятными цели, которые вы ставили перед собой,затевая этот эксперимент. Совпадают ли они по всем пунктам с целями международного исследования: выявить тенденции в изменении качества математического и естественнонаучного образования в начальной и основной школе;отследить изменения в математическом и естественнонаучном образовании, которые происходят при переходе из начальной в основную школу;выявить факторы, влияющие на качество математического и естественнонаучного образования в начальной и основной школе???
   Анализ результатов проведения эксперимента должен быть ориентирован, прежде всего, на уровень достижения поставленных целей. Анализ же даёт прекрасное представление лишь о статистической стороне результатов и немного освещает проблемные стороны. А вот из написанных ниже основной статьи комментариев-становиться гораздо понятнее, какие факторы повлияли на получение именно данных результатов, какие имеются проблемные места и в каких направлениях двигаться дальше. Для создания полного впечатления о содержании,ходе и результатов эксперимента хотелось бы чтобы анализ был представлен в более глубокой и расширенной форме.
   Интересно так же:
   -чем мотивируется выбор заданий именно 2003 года? Ведь данное мониторинговое исследование проводится в мире раз в 4 года-то есть наверняка доступны материалы и статистика и 2007 и 2011 года, которые более адаптированны к новому времени и новым требованиям?
   — почему отдали преимущество материалам исследования именно TIMSS? а,например, не PISA?
   — проводился ли анализ в сравнении не только с общероссийскими показателями, но и с другими странами? (ведь Россия занимает в исследовании ТIMSS, а тем более PISA далеко не первое место в мире?)
   — запланировано ли продолжение эксперимента?будут ли проведены такие исследования через 4 года для обследования одной и той же совокупности учащихся, (когда учащиеся 5 класса станут учащимися 9 класса); и будут ли тестироваться выпускники начальной и основной школы вашего образовательного учреждения каждый год и далее отслеживаться? Ведь не стоит забывать что суть данного эксперимента- мониторинг (сравнительное исследование) эффективности ПРОЦЕССА обучения, позволяющий проследить тенденции и угадать будущие изменения.
   Очень интересно как с предложенными тестами справятся ученики сегодняшней начальной школы, которые сейчас получают образование в условиях ФГОС нового поколения!
   — Отслеживался ли уровень справляемости с предложенными тестами с текущими отметками учащихся и результативностью их участия в различных олимпиадах, конкурсах предметного характера?

   Ещё раз хочется подчеркнуть-проведённый эксперимент является смелым шагом вперед, к новому образованию, когда в школе постепенно происходит переориентация на новые результаты образования, принципиально изменятся содержание образования, формы работы учителя и ученика. И всё это в совокупности обязательно должно повлиять на умение учеников действовать в нестандартных ситуациях, применять знания, получаемые на уроках к материалу, взятому из реальной жизни.

   Очень рекомендую организаторам исследования в вашей школе поделиться таким уникальным опытом в рамках городского методического объединения учителей математики!

   Ответить
   • Жанна Валерьевна:

     09/11/2012 в 22:48

     Уважаемая Наталья Васильевна!
     Наверное, Ольга Владимировна, как человек, непосредственно проводивший исследование, ответит Вам. А я, как директор, затеявший все это, дам свой ответ:)
     Ваш первый вопрос: совпадают ли наши цели по всем пунктам с целями международного исследования? Ответ — нет, не совпадают. Объясню ответ через историю нашей «затеи».
     В 2011-2012 годах я очень настойчиво убеждала своих коллег повернуть мейнстрим методической работы. Я считала и считаю, что сегодня в первую голову нужно разобраться с компетентностным подходом, который закрепили в новых стандартах, но который «подходом» как таковым в ежедневной практике не стал. Мы, как, наверное, и все другие педагогические коллективы, достаточно давно пытаемся «переварить» идеи ФГОС. Первый педсовет, на котором мы пытались знакомиться с проектом ФГОС НОО, был у нас в 2008-2009 году. Но сколько не пересказывай документы — в работе учителей мало что будет меняться. Этот самый «подход» к обучению будет оставаться прежним. Учителю нужно дать в руки что-то, что заставит менять этот подход. И, по моему убеждению, этим «чем-то» должны стать компетентностные задачи. В 2011 году я, воспользовавшись служебным положением, собрала нескольких учителей, которые, как мне казалось, могли заинтересоваться этим и помочь мне «разговорить» коллектив на эту тему. Результатом стал весенний педсовет в 2012 году, на котором трое педагогов — Инзиля Гумаровна Якупова (русский язык), Юлия Викторовна Бикулова (русский язык) и Ольга Владимировна Капаницына (математика) показали нам свои результаты поиска ответа на вопрос, что такое компетентностные задачи. Я на том же педсовете говорила о международных исследованиях PIRLS, PISA, TIMSS и о типологии задач, которые они предлагают. Тогда мы и решили, что проведем такой эксперимент. И сами задания таким образом «пощупаем», и посмотрим, какой наши дети результат покажут. Одно дело результат России в сравнении с результатами других стран, другое дело наши собственные дети. В чем они ориентируются? В чем теряются? Что сделать, чтобы не терялись? Нужные это задания? Ненужные?
     Что касается того, что представленный учителями анализ мало о чем дает представление, я скажу, что думаю, хотя к анализу отношения не имею. Думаю, что О. В. выложила так мало информации, потому что публикация рассчитывалась на диалог. Все выложишь — о чем спрашивать? Но это я так думаю. Что вкладывала в это О. В. — знает только она. Мне кажется, что Ваша фраза о том, что анализ дает «прекрасное представление о статистической стороне» — просто вежливый комплимент, потому что даже об этой стороне сказано очень мало. Я видела итоговые таблицы по нашей школе, по России и мне очевидно, что поле статистики пахать не перепахать. Если понадобится.
     Что касается Вашей реплики о создании полного впечатления, скажу так: создание полного впечатления — за пределами жанра поста. Очевидно, что традиционные научные жанры статьи, тезисов, доклада — здесь не годятся. Какой жанр сложится в Skolkovo — понятия не имею. В этом и прелесть интернета. Когда я анонсировала Skolkovo, была внутренне готова в том числе и к тому, что это вообще никого не заинтересует. А некоторые коллеги были в этом просто уверены.
     Еще. В нашем эксперименте нет всего того, что сопровождает формализованные эксперименты: оформленных, рассмотренных и утвержденных документов с целями, задачами, планами мероприятий, сметами и рисками:) Ничего, кроме того, о чем я сказала. Поэтому не судите нас по законам официальных экспериментов. Здесь один сплошной интерес, профессиональное любопытство.
     Будем ли мы продолжать? О, да! Будет скоро и PISA, причем в варианте, где приоритет отдается заданиям на понимание текстов (Вы знаете, что PISA проверяет также математическую и естественнонаучную подготовку, но в каждый из годов исследования пропорции предметов меняются), будет позже и PIRLS.
     Почему TIMSS-2003? Потому что эти задания официально рекомендованы к использованию. И тетради с заданиями и критериями оценивания официально предлагаются. Этого нет по TIMSS-2007 (поправьте, если я что-то пропустила), а результаты TIMSS-2011 вообще опубликуют только в декабре 2012, насколько мне известно.
     Результаты обучающихся по стандартам первого и второго поколения конечно будем сравнивать (как Вы могли подумать иначе?:) Нетрудно посчитать, что первый результат такого сравнения мы получим не раньше конца 2013-2014 учебного года. Это при том, что мы школа пилотная и наши отношения с ФГОС на год старше, чем у других школ.
     Спасибо большое Вам, Наталья Васильевна, за внимание к материалам нашего сайта!

     Ответить
4. САЛТАНАТ:

   16/01/2013 в 20:30

   ЗДРАВСТВУЙТЕ! ДАЙТЕ ПРИМЕРНЫЕ ЗАДАЧИ TIMSS ДЛЯ УЧАЩИХСЯ 4-Х КЛАССОВ. ЗАРАНЕЕ СПАСИБО ЗА ОТВЕТ!

   Ответить
5. Жанна Валерьевна:

   18/01/2013 в 12:37

   Уважаемый (ая) Салтанат! Мы брали материалы, которые свободно распространяются. Вы можете найти их на centeroko.ru

   Ответить