Investigation of Group Invariance in Test Equating Under Different Simulation Conditions

Problem Durumu: Psikometride, bir testin farkli formlarindan elde edilen puanlarin karsilastirilabilmesini ve birbiri yerine kullanilabilmesini saglayan puanlari donusturme sureci esitleme olarak adlandirilmaktadir. Esitleme islemin hatasiz olmasi, gerceklestirilen test uygulamalarinin daha adil olmasi ve bireylerin gelecegi ile ilgili dogru kararlar alinmasinda kritik onem arz etmektedir. Basarili bir esitleme, bir testin daha kolay formuna alan bireylerin testin daha zor formuna giren bireylere gore haksiz bir avantaji olmadigi ve bir testin farkli formlarini alan bireylerin puanlarindaki farkliligin, bireylerin basari duzeyindeki farkliliktan kaynaklandigi anlamina gelmektedir. Esitleme surecinin basarili bir sekilde yurutulmesi icin, baska bir degisle esitleme sureci yardimi ile farkli formlardan alinan puanlarin birbiri yerine kullanilabilmesi icin esitlemenin, grup degismezligi sartinin da yer aldigi birtakim sartlari karsilanmasi gerekmektedir. Esitlemenin grup degismezligi, farkli olcekler uzerindeki puanlari esitlemek icin kullanilan fonksiyonun alt gruplara bagli olmamasiyla saglanir. Diger yandan, bir testte yer alan bir maddeye ait performansin farkli alt gruplarda nasil degistigini incelemek icin Degisen Madde Fonksiyonu (DMF) kullanilmaktadir. Bundan dolayi parametre kestirimi ya da test esitleme calismasina baslanmadan once DMF gosteren maddeleri belirlemek ve gerekirse silmek icin DMF analizi yurutmek gerekmektedir. Ancak bazi kosullarda iyi yapilandirilmis bir test cok sayida DMF gosteren madde icerse de testten DMF gosteren maddelerin silinmesi testin yapi gecerliliginin dusmesine ve yetenek parametre kestirimlerindeki hatanin artmasina neden olur. Ayrica DMF gosteren maddelerin silinmesi durumunda testin gecersiz olacagi durumlar olusabilir. Bu nedenle, esitleme sirasinda DMF gosteren maddelerin varliginda da esitlemeye olan etkisini en aza indirebilecek kosullarin incelenmesi onemlidir. Arastirmanin Amaci: Bu calismanin amaci ortak maddelere dayali olarak yapilan esitlemelerde, ortak maddelerin DMF gostermesi durumunda; DMF ve orneklem buyuklugunden olusturulan cesitli kosullara gore grup degismezligi indislerini belirlemek ve elde edilen sonuclari karsilastirmaktir. Arastirmanin amaci dogrultusunda; ortak maddeler yardimiyla esitlenmede, DMF ve orneklem buyuklugu faktorleri altinda simulasyon yardimiyla esitleme acisindan en optimum durum belirlenmeye calisilmistir. Calismada kullanilan simulasyon faktorleri; orneklem buyuklugu, orneklem buyuklugu orani, DMF gosteren maddelerin bulundugu form, DMF gosteren madde orani, DMF yonu ve gruplar arasi ortalama yetenek farkidir. Arastirmanin Yontemi: Bu arastirmada, belirlenen kosullara gore uretilen simulasyon veriyi kullanarak farkli esitleme tasarimlarinin karsilastirilmasi amaclanmaktadir. Boylece belirlenen kosullar altinda esitleme tasarimi icin optimum kosullar incelendigi bu arastirmanin bir simulasyon calismasi niteligi tasimakta oldugu soylenebilir. Bu arastirmada iki test formunu esitleyebilmek icin “denk gruplarda ortak madde/test deseni” kullanilmistir. Ortak maddeler, F0 ve F1 arasindaki esitleme iliskisini kurmak icin kullanilmistir. Esitlenecek her bir form %25’si yani 10 tanesi ortak madde olmak uzere ikili puanlanmis 40 maddeden olusmaktadir. Verilerin uretilmesinde R programindan yararlanilmistir. Bu calismada sonuclarin tutarli ve genellenebilir olabilmesi icin her veri seti 100 defa turetilmistir. Calisma kapsaminda bazi ortak test maddelerinde DMF tanimlamak gerekmektedir. Bu nedenle esitlenecek olan F0 ve F1 formlarinin uygulandigi gruplar, odak grup ve referans grup olarak ikiye ayrilmistir. Verilerin analizinde R programi ve SPSS programindan yararlanilmistir. Veri analizinin ilk asamasinda esitleme sureci yurutulmustur. Daha sonra esitleme surecinden elde edilen sonuclara dayali olarak esitlemenin dogrulugunu degerlendirmek amaciyla esitlemede grup degismezligi indisleri elde edilmistir. Son olarak da elde edilen grup degismezligi indislerinin calismada ele alinan faktorlere gore varyans analizi yapilmistir. Calismanin amaci dogrultusunda F0 ve F1 formlarini esitleme sureci toplam gruplar, odak gruplar ve referans gruplar uzerinde ayri ayri yurutulmustur. Esitleme sureci her bir grup icin uc asamada gerceklestirilmistir. Ilk olarak R da batch edilen BILOG kodlariyla madde kalibrasyonu islemi yapilmistir. Daha sonra esitlenecek formlara ait parametreler ortalama sigma yontemiyle ayni metrik uzerine olceklenmistir. Olceklemenin akabinde, MTK gercek puan esitlemesi yapilarak F1 formuna ait esitlenmis gercek puanlar elde edilmistir. Esitleme sureci calisma kapsamindaki 96 kosul icin 100’er kere gerceklestirilmistir. Her bir esitleme sureci tamamlandiktan sonra; her bir puanin toplam gruplarin esitlenmesi sonucunda elde edilen esitlenmis puaninin, referans gruplarin esitlenmesi sonucunda elde edilen esitlenmis puaninin ve odak gruplarin esitlenmesi sonucunda elde edilen esitlenmis puaninin yer aldigi esitleme tablolari olusturulmustur. Bu calismada esitlemenin dogrulugunu grup degismezligi acisindan degerlendirilmistir. Esitlemede grup degismezligin belirlenmesinde cesitli yontemler kullanilmaktadir. Bu calismada Dorans ve Holland (2000) tarafindan test esitlemede grup degismezligini belirlemek amaciyla gelistirilen REMSD indisinden yararlanilmistir. Tekrar sayisi 100 oldugu icin her bir kosulda grup degismezligi indisleri tekrarlardan elden edilen hesaplamalarin ortalamalari alinarak raporlanmistir. Esitlemede grup degismezliginin degerlendirilmesinde, Dorans ve digerlerinin (2003) ve Dorans’ in (2004) onerdigi ham puan biriminin yarisi olarak alinan DTM (Difference That Matters) kriterinden yararlanilmaktadir. DTM= 0.50 kriteri alinarak bir puanin toplam gruptaki bir esitlenmis puan ile alt grup(lar)daki esitlenmis puan(lar) arasindaki farkliligin 0.50’den daha az olmasinin yok sayilabilir; 0.50’den daha fazla olmasinin ise manidar oldugu kabul edilerek yorumlar yapilmaktadir. Arastirmanin Bulgulari: REMSD grup degismezliginin calismada ele alinan tum degiskenlere gore manidar farklilik gosterdigi gorulmektedir. Calisma grubu buyuklugu arttikca REMSD grup degismezligi indisinin manidar olarak azaldigi gorulmektedir. Ayrica, DMF gosteren ortak madde orani arttikca ise manidar sekilde REMSD grup degismezligi indisi de artmaktadir. REMSD grup degismezligi indisinin DMF gosteren ortak madde oranina gore gosterdigi manidar farkliligin hangi alt gruplar arasinda oldugunu belirlemek icin yapilan Post Hoc testine gore ise DMF gosteren ortak madde orani degiskeninin tum ikili alt grup karsilastirmalarinda manidar fark oldugu belirlenmistir. REMSD grup degismezligi, tek yonlu DMF’nin soz konusu oldugu kosullarda iki yonlu DMF’nin soz konusu oldugu kosullara gore manidar olarak daha buyuk deger aldigi gorulmektedir. Ayrica gruplar arasi yetenek farkinin 0 oldugu kosullar, gruplar arasi yetenek farkinin 1 oldugu kosullara gore daha kucuk REMSD degerleri hesaplanmistir. Arastirmanin Sonuc ve Onerileri: Bu calismada veriler 3 parametreli lojistik modele gore uretilerek esitleme yapilmistir. Farkli modellere gore veri uretip farkli calismalar olusturulabilir. Ayrica, farkli esitleme desenlerinde ortak maddelerde ya da esitlenecek testte DMF gosteren maddelerin yer almasi durumunda da test esitlemede grup degismezliginin nasil degistigi incelenebilir.  Diger yandan, farkli orneklem buyuklukleri icin farkli test uzunluklarinda farkli esitleme yontemleri kullanilarak test esitlemenin grup degismezligi arastirilabilir. Bu calismada DMF gosteren ortak maddelerin test esitlemenin grup degismezligine etkisi simulasyon verisi kullanilarak gerceklestirilmistir.  Benzer sekilde gercek bir veri setinde ya da simulasyon calismasi ile birlikte gercek veri seti kullanilarak ortak maddelerde DMF gorulmesi durumunda test esitlemenin grup degismezligini nasil etkiledigi hususunda bir calisma yapilmasi onerilebilir.