An Investigation of Ordering Test Items Differently Depending on Their Difficulty Level by Differential Item Functioning

Problem Durumu: Bireylerin maddelere verdigi tepki davranislarinin, maddenin, test icerisindeki sirasindan beklenmedik sekilde etkilenmesi sira etkisi (position effect) olarak tanimlanmaktadir. Sira etkisi bireyin test performansini cesitli sekillerde etkilemektedir. Madde guclugu acisindan kolay ve zor maddelerin testin basinda ya da sonunda yer almasina bagli olarak ogrencilerin test boyunca motivasyonlari artip ya da azalmakta ve boylece test puanlari etkilenmektedir. Ayrica, maddelerin gucluk duzeylerine gore kolaydan zora dogru siralandigi, yani madde guclugu acisindan zor maddenin testin sonlarina dogru yer aldigi durumlarda pratik ya da ogrenme etkisi (learning effect), madde guclugu acisindan kolay maddelerin testin sonlarina dogru yer aldigi durumlarda ise yorgunluk etkisi (fatique effect) gozlenmekte ve boylece maddelerin gucluk duzeyleri farkli degerler alabilmektedir. Literatur incelendiginde madde sira etkisinin goz onunde bulundurulmasi test gecerligini degerlendirmede onemli oldugu gorulmektedir. Arastirmanin Amaci ve Onemi: Bu calismada, maddelerin gucluk duzeylerine gore test icerisinde farkli siralarda (kolaydan zora ve zordan kolaya) yerlestirildigi farkli test formlarinin verilmesinin, testte yer alan maddelerde DMF olusturup 40 Ebru BALTA – Secil OMUR SUNBUL / Eurasian Journal of Educational Research 72 (2017) 23-42 olusturmadiginin ve kullanilan DMF belirleme yontemleri arasindaki uyumun belirlenmesi amaclanmistir. Coktan secmeli bir testte yer alan maddelerin gucluk duzeylerine gore siralanmasinin maddelerde Degisen Madde Fonksiyonu (DMF) yaratip yaratmadigina iliskin yurtdisinda cok az calismaya rastlanmis olup yurticinde ise dogrudan bir calismaya rastlanamamistir. Bu acidan, bu calismanin alan yazina katki sunacagi ve bu tarz calismalara ve genis capta yapilan sinavlara da isik tutacagi dusunulmektedir. Arastirmanin Yontemi: Arastirmada, arastirmaci tarafindan ikisi paralel olmak uzere toplamda uc adet Matematik Basari Testi kullanilmistir. Testlerden biri, odak ve referans gruplarinin olusturulmasi icin, ogrencilerin Temel Matematik dersindeki bilgi ve becerileri acisindan yetenek duzeylerinin belirlenmesinde ve paralel olan diger iki test ise, maddelerin gucluk duzeylerine gore kolaydan-zora ve zordan-kolaya siralanarak verilmesi durumunun DMF yaratip yaratmadiginin tespit edilmesinde kullanilmistir. Ogrencilerin testlerdeki maddeleri, testlerde yer alan siraya gore cevapladiklarindan emin olmak icin testler, bilgisayar ortaminda Moodle acik kaynak kodlu uzaktan egitim sistemi kullanilarak uygulanmistir. Arastirmanin calisma grubunu, amacli ornekleme yontemiyle secilen, arastirmanin tekrarli olcumlere dayanmasindan kaynakli olarak yapilan eslestirme ve veri on izleme sureclerinin ardindan belirlenen, toplamda 300 (odak grup (150 ogrenci) ve referans grup (150 ogrenci )) ogrenci olusturmaktadir. Uygulamaya katilan ogrencilerin uc test formunu da almasi saglanmistir. Karsit dengelenmis desen kullanilarak testlerdeki sira etkisi ortadan kaldirilmistir. Testlerde yer alan maddelerin DMF icerip icermedigi Mantel-Haenszel (MH) ve Lojistik Regresyon(LR) yontemleriyle odak grubunun KZ (maddelerin kolaydan zora dogru siralandigi test formu), referans grubunun ZK (maddelerin zordan kolaya dogru siralandigi test formu) test formunu almasi (birinci durum) ve odak grubunun ZK, referans grubunun KZ test formunu almasi durumuna (ikinci durum) gore belirlenmistir. Bu testlerden elde edilen veriler R-3.2.0 ve “difR” paketi kullanilarak analiz edilmistir. Arastirmanin Bulgulari: Birinci duruma gore, MH yontemiyle yapilan analiz sonuclarina gore DMF gosteren maddelerden, dort tanesinin orta duzeyde (B), bir tanesinin de yuksek duzeyde (C) DMF gosterdigi belirlenmistir. B duzeyinde DMF gosteren maddelerden bir tanesinin orta guclukte madde, bir tanesinin ise zor madde ve KZ test formunu alan ogrencilerin (odak grup) lehine oldugu ve diger iki tanesinin ise zor madde ve ZK test formunu alan ogrencilerin (referans grup) lehine oldugu gorulmektedir. C duzeyinde DMF iceren maddenin ise, orta guclukte bir madde oldugu ve ZK test formunu alan ogrencilerin lehine oldugu gorulmektedir. LR yontemiyle hem TB DMF hem de TBO DMFyi belirlemek icin yapilan analizlerde ise, orta duzeyde (B) ve yuksek duzeyde (C) DMF gosteren maddenin bulunmadigi gorulmektedir. Ikinci duruma gore, MH yontemiyle yapilan analiz sonuclarina gore, bir maddenin orta duzeyde (B), bes maddenin de yuksek duzeyde (C) DMF gosterdigi belirlenmistir. B duzeyinde DMF iceren maddenin zor madde oldugu ve KZ test formunu alan ogrencilerin lehine oldugu, C duzeyinde DMF gosteren iki maddeden bir tanesinin kolay madde, bir tanesinin ise orta guclukte madde ve ZK test formunu alan ogrencilerin lehine oldugu ve uc maddeden iki tanesinin orta Ebru BALTA – Secil OMUR SUNBUL / Eurasian Journal of Educational Research 72 (2017) 23-42 41 guclukte madde ve bir tanesinin ise zor madde oldugu ve KZ test formunu alan ogrencilerin lehine oldugu gorulmektedir. LR yontemi ile TB DMF’yi belirlemek icin yapilan analiz sonucuna gore iki maddenin orta duzeyde (B) DMF gosterdigi belirlenmistir. Orta duzeyde (B) DMF gosterdigi belirlenen iki maddenin de orta guclukte madde oldugu ve maddelerden bir tanesinin ZK test formunu alan ogrencilerin lehine digerinin ise KZ test formunu alan ogrencilerin lehine isledigi gorulmektedir. Yontemlerin maddelerdeki DMF miktarlarinin buyukluk siralamasi bakimindan benzerliklerinin belirlenebilmesi icin, test maddelerinin TB DMF gosterip gostermedigini belirleyebilmek icin yapilan LR ve MH yontemlerine gore elde edilen ki-kare degerleri arasinda Spearman sira farklari korelasyon katsayisi hesaplanmistir. Hesaplamalar sonucunda her iki durum icin de, iki yontemin DMF buyukluk siralamalari arasinda istatistiksel olarak manidar bir iliskinin bulundugu gorulmektedir ( r1 = .90, r2 = .92; p< .01). Arastirmanin Sonuclari ve Onerileri: Arastirmanin bulgulari, gucluk duzeyi dusuk olan maddeler acisindan incelendiginde, kolay maddeleri sonra alan grubun, maddeleri dogru cevaplama olasiliklarinda artislarin oldugu soylenebilir. Orta guclukte yer alan maddelerin, her iki uygulamada da hem odak hem de referans grubunun lehine isledigi gorulmektedir. Bu durumda, orta guclukteki maddelerin kolay ya da zor maddeden sonra gelmesinin maddenin dogru cevaplama olasiligini etkiledigi soylenebilir. Gucluk duzeyi yuksek olan maddeler (zor maddeler) acisindan, her iki analize dair bulgular incelendiginde, zor maddelerin hem testin basinda yer aldigi durumda hem de testin sonunda yer aldigi durumda, maddelerin dogru cevaplandirilma olasiligini etkiledigi soylenebilir. Boylece bu calismada, maddelerin gucluk duzeylerine gore farkli sekilde siralanmasinin farkli gruplarda yer alan bireylerin, maddelere, dogru cevap verme olasiliklarini etkiledigi sonucuna ulasilmistir. Ayrica, zor maddelerin test formunun sonunda yer almasi, maddelerin cevaplanma olasiligindaki farkliligin artmasina neden olmaktadir. Ayrica yapilan her iki analizde kullanilan LR ve MH yontemlerinin, DMF miktarlarindaki buyukluk siralamalarinda benzer, DMF’li maddeler bakimindan farkli sonuclar urettigi sonucuna ulasilmistir. DMF iceren madde sayisi bakimindan, MH yonteminin LR yonteminden, daha duyarli oldugu gorulmektedir. Bu arastirma kapsaminda, DMF’nin belirlenmesinde, Klasik Test Kurami’na dayali yontemlerden MH ve LR yontemleri kullanilmistir. Daha sonraki yapilacak olan calismalarda, KTK’ya dayali diger yontemler ve IRT’ye dayali yontemlerle DMF belirlenebilir. Farkli yontemlerden elde edilecek sonuclar karsilastirilabilir