Застосування моделей IRT та MIRT до аналізу тестів з аналітичній геометрії

У статті проведено дослідження щодо побудови методики аналізу комп’ютерних контрольних робіт з вищої математики, які містять тестові завдання різних типів, у тому числі, й завдання типу «вбудовані відповіді», які мають декілька пов’язаних між собою підзавдань, та проведенння на підставі цієї методики аналізу якості контрольної роботи з вищої математики. В основу методики покладено методи Класичної Теорії Тестів (КТТ) та Сучасної Теорії Тестів (IRT), які довели свою ефективність у статистичному аналізі тестів. Основну увагу в роботі зосереджено на використанні моделейMultidimensional Item Response Theory (MIRT), яка дозволяє відразу проводити дослідження цілого вектору компетентностей студентів, та більш ретельно аналізувати їх. Також у дослідженні використовуються й одновимірні моделі IRT, результати застосування яких порівнюються з використанням MIRT. Серед одновимірних моделей буловідібрано добре відомі моделі Муракі і Бірнбаума, а серед багатовимірних - двовимірні 2-PL і GPCM. Залучені у дослідження багатовимірні моделі є компенсаторними. Питання застосування некомпенсаторних моделей не розглядалось. Порівняння відповідності даним різних моделей було проведено на основі спеціальних інформаційних критеріїв. На їх підставі дещо кращим виявились одновимірні моделі. В якості основного інструментарію обрано середовище програмування R, яке надає потужний набір програмних засобів статистичного аналізу тестів. У якості базового пакету програм обрано пакет mirt.  Даними для дослідження обрано модульну контрольну роботу з аналітичної геометрії. Контрольну роботу писало 105 студентів ФІОТ НТУУ «КПІ імені І. Сікорського» 121 спеціальності потоку ІТ. Контрольну розміщено на платформі MOODLE і проводилась вона дистанційно. Аналіз результатів тестів на підставі обраних моделей продемонстрував узгодженість результатів аналізу як одновимірних, так і багатовимірних моделей. Але багатовимірні моделі дозволяють деталізувати аналіз різних компетентностей, у даному випадку – знань з векторної алгебри й знань прямих, площин, поверхонь у просторі. Проведений аналіз показав, що тестову контрольну роботу складено у цілому правильно, дозволив систематизувати завдання за складністю, а для питань типу «вбудованівідповіді» - деталізувати складності підзавдань. Оцінюючи у цілому результати застосування одновимірних та багатовимірних моделей IRT, слід відмітити їх ефективність в аналізі як тестів з вищої математики, так і у контролі знань з інших дисциплін. Бібл. 19, іл. 5, табл. 6