Інформаційні матеріали щодо проведення в Україні Міжнародного дослідження якості освіти PISA-2018 (загальний опис Програми Міжнародного оцінювання учнів)

Програма Міжнародного оцінювання учнів

Детальну інформацію про PISA – рамкові матеріали, зразки завдань попередніх циклів, новини про стан підготовки до проведення дослідження в Україні – розміщено на офіційному сайті Програми в Україні: pisa.testportal.gov.ua.

 

1. Загальна інформація про дослідження

У 2016 році Україна долучилася до одного з найбільш масових міжнародних досліджень якості освіти – PISA. У поточному циклі проекту, який почався 2015 року й завершиться у 2018 році, візьмуть участь понад 70 країн та економік (деякі країни беруть участь як цілісна держава і плюс окремо столиця, деякі – лише столицею, інші – окремими штатами). Назва дослідження PISA розшифровується як Programme for International Student Assessment (Програма міжнародного оцінювання учнів). Це дослідження створено за ініціативою Організації економічного співробітництва й розвитку, ОЕСР (Organisation for Economic Co-operation and Development, OECD). В Україні за організацію й проведення дослідження відповідає Український центр оцінювання якості освіти та регіональні центри оцінювання якості освіти, а за підготовку національного звіту за його результатами – Інститут освітньої аналітики. Багатоплановість дослідження, його стосунок до різних складових освіти зумовили залучення фахівців Національної академії педагогічних наук України, аналітичного центру CEDOS, Спілки Ректорів, Спілки роботодавців України, Спілки керівників навчальних закладів, Інституту модернізації змісту освіти, інститутів післядипломної педагогічної освіти, Альянсу сприяння зовнішньому тестуванню в Україні (USETI) та інших установ на різних етапах його підготовки. У кожній області було обрано регіонального координатора дослідження, який займатиметься питаннями розповсюдження інформації щодо програми, організацією взаємодії з навчальними закладами, координуванням дій різних залучених осіб та організацій, моніторингом стану підготовки до дослідження в області, роботою з представниками регіональних засобів масової інформації.

Такі увага й інтерес різних установ до дослідження зумовлена тим, що воно є надважливим для України, оскільки дозволить вивчити те, наскільки український підліток буде здатним стати частиною глобалізованої економічної системи, наскільки він/вона усвідомлює загальні принципи та ідеї наукової теорії й здатний/а використовувати навчальні здобутки в різноманітних життєвих ситуаціях, бути успішними в сучасному інноваційному суспільстві: генерувати нові ідеї, розвивати власну систему знань, застосовувати її для розв’язування актуальних, особистісно й суспільно значущих проблем. Програма не орієнтується на стандарти освіти окремих країн, натомість зосереджується на найважливіших напрямах навчання, а саме: читацька грамотність (reading literacy), математична грамотність (mathematical literacy) та природничо-наукова грамотність (natural sciences).

PISA проводиться раз на три роки, у кожному трирічному циклі приділяється особлива увага одній з дисциплін, яка визначається як провідна (основна) галузь оцінювання. Ідеться про зосередження на змісті певної галузі в матеріалах з тестування та в матеріалах опитувальника PISA. Так, читацька грамотність була провідною галуззю у 2000 та 2009 роках і буде провідною 2018 року; математика – у 2003 та 2012 роках; природничі дисципліни – у 2006 й 2015 роках.

Щодо вартості дослідження, то вона є достатньо високою. Так, кожна країна має сплачувати понад 48 тис. євро на рік упродовж чотирьох років (3 роки організації й проведення дослідження та один рік – звітування), окрім цього, країни-учасниці повністю покривають усі витрати, пов’язані з проведенням дослідження в самій країні. За ці гроші країни отримують постійну підтримку й консультації провідних партнерів дослідження, установ з організації й проведення світових освітніх тестувань, з підготовки когнітивних матеріалів і текстів опитувальників та їх перекладу, а також з підготовки вибірки дослідження.

 

2. Хто братиме участь у дослідженні?

Змістовність дослідження багато в чому визначається вибіркою його учасників. Науковці програми дійшли висновку, що для отримання повноцінної картини про успішність країни в освітній галузі зовсім необов’язково проводити тестування всіх учнів різних вікових категорій. Базова кількість учасників вибірки дослідження становить близько 5 000 осіб, при цьому кількість ця є дещо різною з огляду на дослідницькі потреби кожної країни. У разі включення опційних (додаткових) компонентів вибірка збільшуватиметься. Деякі країни значно розширюють свою вибірку, оскільки хочуть дослідити успішність окремих регіонів або груп населення (наприклад, дітей з особливими потребами). Маленькі країни, такі як Кіпр, тестують усіх учнів певного віку, оскільки їхня кількість менша за базовий стандарт.

Питання віку учасників тестування є одним з найбільш сутнісних для програми. Дослідники, які працювали в PISA, глибоко вивчили освітні системи різних країн і з’ясували, що період закінчення обов’язкового етапу навчання в більшості з них припадає на вік 15 років. Тому в усіх країнах світу тестування проходитимуть 15-річні підлітки незалежно від того, у якому класі вони навчаються. В Україні такий підхід ще не використовувався, адже у 2007 й 2011 роках у нас проводилося дослідження TIMSS і учасниками його були всі учні певного класу: восьмого – 2007 й 2011 років та четвертого – 2007 року. Одним із викликів може стати прозорість адміністрування тестування, а саме існує загроза того, що  адміністрації шкіл намагатимуться використати класичну схему: у тестуванні беруть участь не ті учні, яких випадковим чином обрала програма, а «обрані школярі». Однак ці виклики будь-що мають бути подолані Національним центром PISA, функції якого покладені на Український центр оцінювання якості освіти, для того щоб потрапити до міжнародного звіту й отримати дані для створення національного звіту за результатами дослідження.

Варто зазначити, що PISA має надзвичайно точно виписані стандарти організації й проведення дослідження та звітування за його результатами. Країни, які не дотримуються цих стандартів, виключаються з дослідження без додаткових пояснень. Щодо вибірки дослідження, то вона є неупередженою та стандартизованою. Міжнародний партнер програми – WESTAT – надає завдання, які виконують представники всіх країн-учасниць. Ці завдання призначені для вивчення дослідниками нашої освітньої системи та забезпечення репрезентативної вибірки учасників. Фінальним етапом формування вибірки буде завдання, відповідно до якого українська сторона представить списки всіх навчальних закладів країни, де навчаються 15-річні підлітки (а це загальноосвітні школи, ліцеї, гімназії, професійно-технічні навчальні заклади, коледжі тощо), додавши до них їхні характеристики. За цими даними міжнародні партнери визначать список навчальних закладів-учасників, після чого в цих навчальних закладах випадковим чином будуть обрані підлітки, які пройдуть тестування.

 

3. На папері чи комп’ютері?

Однією з найважливіших характеристик програми PISA є її динамічність і відповідність сучасним тенденціям в освіті. Так, уже впродовж двох циклів дослідження країни можуть вибирати комп’ютерний формат тестування та опитування замість паперового. На сьогодні близько 60 країн беруть участь саме в комп’ютерному форматі тестування, що дозволяє їм урізноманітнити зміст тестових завдань та отримати цілу низку даних про уміння учнів, пов’язані з веб-середовищем.

Паперова та комп’ютерні версії дослідження відрізняються одна від одної як змістовно, так й адмініструванням. Розглядаючи змістовну складову, зауважимо, що за участі в комп’ютерній версії тестування 88–92% учнів отримають умовний тестовий зошит (набір завдань на комп’ютері) із чотирма 30-хвилинними кластерами, або комплексами завдань, складеними з матеріалів двох доменів (галузей), отже, час оцінювання для кожного з доменів становитиме одну годину. Останні 8–12% учнів отримають тестові зошити з чотирма 30-хвилинними кластерами, що охоплюють три з чотирьох ключових доменів.

У кожному з тестових зошитів два кластери із чотирьох призначатимуться для вимірювання читацької грамотності. Вони формуватимуться за допомогою різних комбінацій двох із чотирьох доменів, а саме: 1) читацька й природнича грамотність; 2) читацька й математична грамотність; 3) читацька грамотність і глобальна компетентність. Упродовж однієї години учні надаватимуть відповіді з читацької грамотності та впродовж ще однієї години – з іншої, неосновної галузі: природничої грамотності, математичної грамотності або глобальної компетентності.

Паперовий формат тестування передбачає формування 12 різних зошитів для учнів, тобто майже кожен учень в аудиторії отримає унікальний набір завдань, що дозволить уникнути списування, підказок з боку інструкторів тощо. Кожен зошит складатиметься з кластерів завдань з читання (провідної галузі), математики та природничих наук.

З точки зору адміністрування паперове та комп’ютерне тестування здійснюються згідно зі стандартами ОЕСР. Процедури проведення тестування подібні до процедур зовнішнього незалежного оцінювання (ЗНО). Вони також передбачають роботу інструктора з проведення тестування, який роз’яснює учням процедури, слідкує за порядком в аудиторії, часом початку та завершення роботи. Утім, однією з відмінностей між проведенням PISA та ЗНО є те, що тестування проводиться в тому навчальному закладі, у якому навчається учень. Це однак не є підставою для хвилювань щодо прозорості дослідження, оскільки програмою передбачено цілий ряд заходів для запобігання можливим зловживанням. Серед них, зокрема, буде залучення незалежних спостерігачів до проведення тестування в класах, а також незалежний аналіз статистичних даних за результатами тестування.

На сьогодні розглядається питання про участь України в комп’ютерному форматі тестування, оскільки він дозволить провести більш змістовні дослідження результатів, використати напрацювання поточного циклу дослідження в наступних роках, вивчити тренди в освітній системі країни. Однак існують також застереження фахівців щодо недостатньої технічної оснащеності, а також проблеми з комп’ютерною грамотністю учнів певних навчальних закладів. Щодо технічного аспекту, то програма висуває вимоги до комп’ютерів, які мають бути виконані перед їхнім використанням для тестування: усі комп’ютери шкіл-учасниць, що будуть використані, пройдуть перевірку на придатність до використання в дослідженні. Якщо деякі комп’ютери не пройдуть перевірку, буде необхідно організувати їх заміну. Деякі країни взагалі відмовляються від використання комп’ютерів у навчальних закладах, натомість вони мають переїзні аудиторії, що дозволяє уніфікувати адміністративні процедури. Слід також зазначити, що для тестування необов’язково мати доступ до безперервної мережі Інтернет, що значно полегшує адміністрування тесту в багатьох країнах, зокрема, в Україні.

Питання комп’ютерної грамотності учнів залишається достатньо гострим, однак, ураховуючи те, що Україна є одним з лідерів IT–індустрії, участь країни в дослідженні може бути поштовхом для запровадження цільових програм з підвищення комп’ютерної грамотності наших школярів.

 

4. Тести програми

Іншою визначною рисою програми є її підхід до змісту когнітивної частини дослідження. У кожному циклі програми розробляються нові тестові завдання, які дозволяють більш точно та глибоко вивчити навчальну успішність учнів. Розробниками тестових завдань є представники понад 40 країн світу. Вони співпрацюють разом для отримання тестових завдань, які відповідають програмі дослідження, а також максимально висвітлюють особливості освітніх систем різних частин світу. З метою локалізації ці завдання проходять надзвичайно складну процедуру перекладу й адаптування, яка передбачає переклад двома незалежними перекладачами, узгодження вітчизняними, а також міжнародними експертами, обговорення можливих адаптувань з фахівцями-лінгвістами та спеціалістами в галузі психометрії. Проходження всіх зазначених процедур займає майже півроку, але саме вони дозволяють уніфікувати інструменти 70 країн світу.

Українські фахівці вже долучилися до процесу підготовки текстів завдань українською мовою, на сьогодні були перекладені й адаптовані трендові завдання програми й відбувається процес їхнього узгодження в межах країни та з міжнародними експертами.

Значущість PISA визначається не лише згаданими процедурами написання, перекладу та адаптування тестових завдань, але й підходом до розширення змістовних доменів. Так, у поточному циклі дослідження було запропоновано нову галузь – глобальна компетентність. Існування цієї галузі відбиває специфіку суспільств сучасного світу, які стають дедалі більш глобальними, взаємопов’язаними та взаємозалежними Сьогодні глобальної компетентності потребують багато людей в усьому світі, вона й надалі буде потрібна: молоді люди стикатимуться з глобальними середовищами, відіграватимуть у них активну роль упродовж свого життя незалежно від місця їхнього народження, навчання, роботи або проживання. Зауважимо, що цей домен доступний лише для країн з комп’ютерним форматом тестування.

На прохання Секретаріату ОЕСР у поточному циклі дослідження пропонується також оцінювання фінансової грамотності учнів. Цей домен дослідження є доступним лише для країн, які обрали участь у комп’ютерному форматі тестування. Основною метою галузі є визначення сформованості в учнів знань та розуміння поняття «фінанси», рівень мотивації та сформованості умінь до використання цих знань й умінь під час прийняття ефективних рішень у різноманітних життєвих ситуаціях, пов’язаних із фінансовими питаннями; набуття здатності до покращення як власного соціально-економічного стану, так і стану своєї країни, а також до участі в економічному житті країни й світу.

 

5. Опитувальники програми

Окрім тестових завдань, PISA використовує так звані контекстні опитувальники, які дають змогу зібрати фонові дані про учнів. Це уможливлює отримання повноцінної інформації про систему освіти в країні, визначити вплив різних чинників на якість освіти, здійснити заходи щодо удосконалення освітніх практик. Серед чинників, які вивчаються в програмі, найважливіші такі: піклування про учнів з боку батьків та їхня підтримка, навчання в ранньому дитинстві, наявність мотивації до навчання, залучення до читання, інтерес до математики, задоволення від наукового пізнання, повага до інших, а також здатність регулювати свою власну навчальну поведінку. Крім того, опитування з’ясовує вплив на умови життя учнів міграційних процесів в їхній країні, характеру здійснюваної гендерної політики, соціально-економічного стану країни.

Участь в опитуванні беруть не тільки учні, але й адміністрація шкіл, а також батьки. Надана ними інформація використовується для аналізу отриманих учнями результатів на тлі рівня і якості шкільного викладання й організації шкільної освіти, як-от: кваліфікація вчителів, ефективно організовані навчальні плани, практика викладання, час на навчання як безпосередньо у школі, так і поза її межами, контроль якості шкільних процесів, їхній моніторинг, питання лідерства, шкільне управління, залучення батьків до участі в шкільному житті, мікроклімат у школі, загальні цінності, очікування високих досягнень, взаємодія та взаємна підтримка, показники рівня відсіву в школах тощо.

Під час проведення основного етапу дослідження PISA-2018 буде впроваджено два обов’язкові опитувальники для кожної з країн-учасниць: «Опитувальник для учнів», на заповнення якого надається близько 35 хвилин, та «Опитувальник для адміністрації навчальних закладів», час заповнення якого становить 45 хвилин. Опитувальники охоплюють широке коло контекстних даних. Модель опитувальників є стабільною: опитувальник для учнів заповнюється кожним учнем, опитувальник же для адміністрації навчальних закладів – директорами відповідних навчальних закладів. 

PISA-2018 пропонує учням також додаткові опитувальники: «Опитувальник про освітній вибір» (10 хвилин), «Опитувальник про володіння ІКТ» (10 хвилин) та «Опитувальник про благополуччя» (15 хвилин). Також PISA-2018 додатково пропонує «Опитувальник для вчителів» і «Опитувальник для батьків». «Опитувальник для учнів» та «Опитувальник для шкіл» будуть доступними як у комп’ютерному, так і в паперовому вигляді: форма проведення опитування має збігатися з формою тестування, яку було обрано країною для участі в PISA-2018. Усі додаткові опитувальники, окрім опитувальника для батьків, який є виключно паперовим, є комп’ютерними. Крім того, для країн, які братимуть участь у тестуванні з фінансової грамотності, є додатковий 8-10-хвилинний «Опитувальник про фінансову грамотність».

 

6. Використання результатів дослідження в освітній практиці

Характеризуючи PISA в цілому, необхідно наголосити на такій важливій особливості проекту, як його виразна політична й стратегічна орієнтованість, що дозволяє потужно впливати на освітню політику країн-учасниць.

PISA позитивно сприймається управлінцями, які приймають рішення щодо освітньої політики як дієвий та надійний інструмент для міжнародного порівняльного аналізу показників систем освіти. Факти доводять, що більшість країн-учасниць дослідження розпочали реформи в освіті та впровадження освітніх проектів саме у відповідь на оцінювання PISA.

Матеріали програми також використовуються в національних системах оцінювання учнів та шкіл. Управлінці в галузі освітньої політики використовують рамкові документи та матеріали PISA як зразкові моделі й орієнтири у формулюванні національних освітніх стратегій та практик оцінювання. Крім того, значна група країн прагне включити компетенції, подібні тим, що використовує PISA, в освітні стандарти та в удосконалені навчальні програми. Такий вплив на освіту країн-учасниць може бути витлумачено як перенесення міжнародного досвіду на національний ґрунт.

Лаура Фігазоло, представник відділу досліджень міжнародної освітньої асоціації «Education International», стверджує, що саме чітка орієнтованість на політику в галузі освіти відрізняє дослідження PISA від інших міжнародних порівняльних опитувань у галузі освіти, наприклад, від TIMMS або PIRLS, які проводяться Міжнародною асоціацією оцінювання освітніх досягнень з кінця 50-х років минулого століття (International Association for the Evaluation of Educational Achievement/IEA). Програма PISA – не лише дослідження, вона містить ключові стратегічні й політичні рекомендації, що створюють нову основу для співпраці у визначенні освітніх цілей та їх досягненні. Надані урядам політичні рекомендації сприяють покращенню показників освітніх систем в їхніх країнах і, як наслідок, збільшенню їхньої конкурентоспроможності.

Дослідниця наводить низку прикладів співпраці між Програмою PISA й урядами країн різної політичної спрямованості, де було впроваджено освітні реформи після оприлюднення результатів дослідження.

Так, у відповідь на отримані невисокі показники в PISA-2006 Мексика розпочала нову реформу, відому як «Альянс заради якості освіти», яка ґрунтувалася на угоді між урядом, освітньою спілкою (SNTE) та ОЕСР.

Італія також скористалася результатами PISA й радикально змінила стан національної освіти, запропонувавши «драконівські» заходи, наприклад, скорочення шкільного тижня, ліквідацію частини вчительських посад та впровадження щорічного бонусу кращим учителям у розмірі 5000-7000 Євро.

У США та Франції дані PISA були використані для обґрунтування освітніх реформ шляхом підвищення продуктивності й конкурентоспроможності.

У Німеччині, Ірландії та Австралії результати PISA застосовувалися для визначення потреби в додаткових оцінюваннях. Наприклад, в Австралії було введено новий тестовий режим, за якого учні 3-го, 5-го, 7-го та 9-го років навчання складають державні стандартизовані тести з мовної та математичної грамотності.

Також існують приклади співпраці між урядами та освітянськими спілками за результатами PISA. Це створення ірландської моделі партнерства в прийнятті рішень стосовно навчальних програм й оцінювання, до якої були залучені спілки вчителів; також використання учительськими спілками Німеччини даних PISA для захисту своїх поглядів у підтримці більшої соціальної рівності в шкільній системі; застосування надбань PISA в діалозі освітян з державою стосовно актуальних питань освіти в Сполученому Королівстві Великої Британії та Північної Ірландії тощо. У Фінляндії – країні з постійно високим місцем у рейтингу PISA та з освітньою системою, яка не покладається на стандартизоване тестування, результати PISA були використані на підтримку державної загальної освіти. Увагу громадськості тут було зосереджено на питанні освіти вчителів: фінські вчителі висококваліфіковані, мають міцну підтримку та високий статус у суспільстві, їхні ж учні гарантовано отримують рівний доступ до високоякісної освіти.

Результати Програми доводять країнам-учасницям, наскільки важливе значення має ставлення учнів до навчання. Мексика – одна з країн ОЕСР, найбільша частка учнів якої стверджує, що вони почуваються в школі щасливими. В усіх економічних системах більшість учнів заявляють про своє позитивне ставлення до школи, хоча відсоток є вищим серед учнів із забезпечених родин (85%), ніж із невлаштованих (78%). Ставлення учнів до навчання відображається в ряді даних, зібраних за допомогою дослідження PISA, що охоплюють такі питання, як пропущені уроки, тривога та віра в себе і т. ін.

За результатами PISA, виявлено, що стать може впливати на навчальні досягнення учнів. Так, наприклад, дослідження доводить, що юнаки мають кращі результати з математики, ніж дівчата. Найбільш помітною є ця різниця в Колумбії. У читанні ж, навпаки, кращі показники мають дівчата. У природничих дисциплінах помітної різниці між юнаками й дівчатами не відзначається. Водночас, у 28 економічних системах світу дівчата, які брали участь у PISA-2012, мали ті ж показники з математичної грамотності, що й юнаки. Це дозволило припустити, що для нівелювання статевої різниці в досягненнях з математики або її зменшення країни можуть багато що зробити.

 

 Т.С. Вакуленко,Національний координатор проекту, начальник відділу досліджень і аналітики Українського центру оцінювання якості освіти. 

Приклади компетентнісних завдань PISA з математики

Завдання 1. Яблуні

Завдання 2. Площа континенту.

Завдання 3. Гараж.